Mengapa matriks korelasi harus semi-pasti positif dan apa artinya menjadi semi-pasti positif atau tidak?

Saya telah meneliti makna properti semi-pasti positif dari korelasi atau matriks kovarians.

Saya mencari informasi tentang

Definisi semi-definiteness positif;
Sifatnya yang penting, implikasi praktis;
Konsekuensi dari memiliki determinan negatif, berdampak pada analisis multivariat atau hasil simulasi dll.

— Melon
sumber

Apakah Anda ingin memahami apa yang semi-kepastian adalah , atau apakah Anda ingin tahu mengapa matriks korelasi harus menjadi semi-pasti, atau apakah Anda ingin tahu hasil penting apa yang tersirat oleh properti ini?

— Whuber

Jika matriks korelasi mana yang tidak semi-positif pasti maka Anda bisa mendapatkan varians yang negatif.

Saya sedikit mengedit pertanyaan Anda, silakan periksa. Juga, harap dicatat bahwa matriks dengan angka eigen negatif dengan nilai genap masih akan memiliki penentu positif.

— ttnphns

Matriks kovarians TIDAK selalu sama dengan matriks korelasi! Kovarian mempertimbangkan variabel dinormalisasi sedangkan matriks korelasi tidak.

— Manoj Kumar

Pertanyaan terkait: Apakah setiap matriks kovarian pasti positif? mempertimbangkan kasus yang lebih luas dari matriks kovarians, di mana matriks korelasi adalah kasus khusus; juga apakah setiap matriks korelasi positif semi-pasti? dan apakah setiap matriks korelasi positif pasti?

— Silverfish

Jawaban:

Varians dari jumlah tertimbang dari variabel acak harus positif untuk semua pilihan bilangan real . Karena varians dapat dinyatakan sebagai $\sum_i a_i X_i$ $a_i$

var (\sum_{saya} {Sebuah}_{saya} X_{saya}) = \sum_{saya} \sum_{j} {Sebuah}_{saya} {Sebuah}_{j} cov (X_{saya}, X_{j}) = \sum_{saya} \sum_{j} {Sebuah}_{saya} {Sebuah}_{j} Σ_{saya, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ kami memiliki bahwa matriks kovarians

harus semidefinit positif (yang kadang-kadang disebut nonnegatif pasti). Ingatlah bahwa matriks

disebut semidefinit positif jika dan hanya jika

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{saya} \sum_{j} {Sebuah}_{saya} {Sebuah}_{j} C_{saya, j} \geq 0 \forall {Sebuah}_{saya}, {Sebuah}_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— Dilip Sarwate
sumber

Terima kasih, saya menghapus downvote saya, tetapi saya tidak upvote karena tidak menjawab tentang implikasi praktis. Katakanlah saya memiliki matriks yang tidak pasti positif (karena untuk contoh modifikasi oleh 'ahli'). Apa yang akan terjadi jika saya menggunakannya untuk mengkalibrasi dan / atau mensimulasikan data? Secara khusus, apakah ini masalah nyata ketika mencoba mempelajari jumlah besar dan hanya ada beberapa nilai eigen negatif? Apa yang akan menjadi algoritma yang efisien untuk mengubah matriks korelasi semi-pasti non-positif menjadi semi-positif yang positif? Apa yang akan menjadi dampak dari algoritma ini?

— lcrmorin

@Were_cat Terima kasih atas pembalikan downvote.

— Dilip Sarwate

Bisakah Anda jelaskan persamaan pertama dalam persamaan pertama?

— Vivek Subramanian

@VivekSubramanian Variance adalah kasus khusus dari fungsi kovarians:

dan fungsi kovarians adalah bilinear (artinya ini adalah fungsi linear sehubungan dengan setiap argumen:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{saya} {Sebuah}_{saya} X_{saya}, Y) & = \sum_{saya} {Sebuah}_{saya} cov (X_{saya}, Y) \\ cov (X, \sum_{saya} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Jawabannya cukup sederhana.

Matriks korelasi didefinisikan sebagai berikut:

$X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

Matriks korelasi kemudian

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

— Gregor
sumber

Sejauh ini, inilah jawaban yang paling ringkas dan bermanfaat. Terima kasih!

— Yohan Obadia

(Kemungkinan kelonggaran dalam bernalar akan menjadi milik saya. Saya bukan ahli matematika: ini adalah penggambaran, bukan bukti, dan dari eksperimen numerik saya, bukan dari buku.)

Sebuah positif semidefinite matriks (PSD), juga disebut matriks Gramian, adalah matriks tanpa nilai eigen negatif. Matriks dengan nilai eigen negatif bukan semidefinit positif, atau non-Gramian. Kedua hal ini dapat pasti (tidak ada nilai eigen nol) atau tunggal (dengan setidaknya satu nilai eigen nol). [Kata "Gramian" digunakan dalam beberapa arti berbeda dalam matematika, jadi mungkin harus dihindari.]
Dalam statistik, kami biasanya menerapkan persyaratan ini ke matriks tipe-SSCP, juga disebut matriks produk skalar. Matriks korelasi atau kovarian adalah kasus khusus dari matriks tersebut .
Matriks produk skalar apa pun adalah karakteristik ringkasan dari beberapa data multivarian (cloud). Misalnya diberikan $n$ kasus X $p$ data variabel, kita bisa menghitung $p$ X $p$ matriks kovarians antara variabel atau $n$ X $n$ matriks kovarians antara kasus-kasus. Saat Anda menghitungnya dari data nyata, matriks akan selalu menjadi Gramian. Anda bisa mendapatkan matriks non-Gram (non-psd) jika (1) matriks kemiripan diukur secara langsung (yaitu tidak dihitung dari data) atau ukuran kesamaan bukan tipe-SSCP; (2) nilai matriks salah dimasukkan; (3) matriksnya sebenarnya adalah Gramian tetapi hampir (hampir sama) adalah singular sehingga kadang-kadang metode spektral penghitungan nilai-nilai eigen menghasilkan nilai-nilai negatif kecil di tempat benar-benar nol atau positif kecil.
Ringkasan alternatif dan setara untuk awan adalah matriks jarak euclidean. Produk skalar (seperti kovarians) antara sepasang barang dan jarak euclide kuadrat yang sesuai di antara mereka diikat oleh hukum cosinus ( teorema kosinus , lihat gambar di sana): $d_{12}^2 = h_1^2+h_2^2-2s_{12}$ , Dimana $s$ adalah produk skalar dan $h$ Adalah jarak dari dua item dari asal. Dalam hal matriks kovarians antar variabel $X$ dan $Y$ rumus ini terlihat seperti $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$ .
Sebagai kesimpulan sementara: matriks kovarians (atau korelasi atau produk skalar lainnya) antara beberapa $m$ item adalah konfigurasi titik yang tertanam dalam ruang Euclidean, sehingga jarak euclidean didefinisikan di antara semua ini $m$ poin.
Sekarang, jika [poin 5] benar-benar berlaku, maka konfigurasi titik benar-benar konfigurasi euclidean yang mensyaratkan bahwa matriks produk skalar yang ada (misalnya kovarians) adalah Gramian. Kalau tidak, itu bukan Gramian. Jadi, untuk mengatakan " $m$ X $m$ Matriks kovarians secara positif semi-pasti "berarti" $m$ poin plus asal cocok di ruang Euclidean dengan sempurna ".
Apa kemungkinan penyebab atau versi konfigurasi non-Gram (non-Euclidean)? Jawabannya mengikuti setelah merenungkan [poin 4].
- Penyebab 1. Kejahatan itu sendiri: $m$ X $m$ matriks jarak tidak sepenuhnya euclidean. Beberapa jarak berpasangan $d$ sedemikian rupa sehingga mereka tidak bisa setuju dengan sisa poin dalam ruang Euclidean. Lihat Gambar 1.
- Penyebab 2. Ada ketidakcocokan umum (tingkat matriks) antara $h$ dan $d$ ini Misalnya dengan fixed $d$ dan beberapa $h$ Sudah diberikan, yang lain $h$ Hanya harus bervariasi dalam beberapa batas agar tetap sesuai dengan ruang Euclidean. Lihat Gambar 2 .
- Penyebab 3. Ada ketidakcocokan lokal (tingkat pasangan) antara a $d$ dan pasangan yang sesuai $h$ Terhubung ke dua titik itu. Yaitu, aturan ketimpangan segitiga dilanggar; aturan itu menuntut $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$ . Lihat Gbr3.
Untuk mendiagnosis penyebabnya, ubah matriks kovarians non-Gramian menjadi matriks jarak menggunakan hukum cosinus di atas. Lakukan double-centering di atasnya. Jika matriks yang dihasilkan memiliki nilai eigen negatif, penyebab 1 ada. Jika tidak ada $|cov_{ij}| \gt \sigma_i \sigma_j$ , karena 3 ada. Penyebab lain 2 hadir. Terkadang lebih dari satu penyebab bergaul dalam satu matriks.

Fig1.

Fig1

Fig2.

Fig2

Fig3.

Fig3

— ttnphns
sumber

Poin 6 memerlukan demonstrasi: Anda telah menunjukkan bahwa matriks jarak Euclidean kuadrat adalah pd, tetapi Anda menyatakan tanpa bukti bahwa untuk setiap matriks pd sesuai dengan konfigurasi titik Euclidean. Anda juga belum menghubungkan definisi pd ("tidak ada nilai eigen negatif") ke salah satu penokohan berikutnya. Gagasan kuncinya muncul di akhir (titik 8): matriks pd dapat digunakan untuk menentukan jarak. Logikanya, di sinilah Anda harus memulai analisis.

— whuber

@whuber: Terima kasih atas penilaian kritisnya. Aku takut, ketika datang untuk membuktikan sesuatu secara matematis , aku tenggelam. Saya telah melaporkan sebagian dari pengalaman praktis saya (saya katakan itu); jawabannya bukanlah urutan analitis. Tidakkah Anda ingin menambahkan jawaban Anda sendiri yang dapat memperbaiki / memperbaiki jawaban saya? Itu bisa jadi bantuan yang berharga. Atau, Anda bebas mengerjakan teks saya untuk memperbaikinya jika ternyata tidak sia-sia.

— ttnphns

PS My point 8 menyiratkan bahwa karena pemusatan dua kali mengaitkan konfigurasi titik ke pusatnya, operasi ini sendiri tidak memperkenalkan non-euclidity (hanya menghasilkan singularitas karena titik baru, pusat, milik ruang yang sama). Dari sana kita dapat memeriksa apakah konfigurasi awal adalah euclidean. Apakah itu tidak benar?

— ttnphns