Bagaimana menafsirkan kovarians terbalik atau matriks presisi?

65

Saya bertanya-tanya apakah ada yang bisa mengarahkan saya ke beberapa referensi yang membahas interpretasi unsur-unsur matriks kovarian terbalik, juga dikenal sebagai matriks konsentrasi atau matriks presisi.

Saya memiliki akses ke Dependensi Multivarian Cox dan Wermuth , tetapi yang saya cari adalah interpretasi dari setiap elemen dalam matriks invers. Wikipedia menyatakan : "Unsur-unsur matriks presisi memiliki interpretasi dalam hal korelasi parsial dan varian parsial," yang membawa saya ke halaman ini . Apakah ada interpretasi tanpa menggunakan regresi linier? IE, dalam hal kovarian atau geometri?

interpretation covariance-matrix

— Vinh Nguyen
sumber

4

apakah Anda membaca seluruh halaman Wikipedia? Ada bagian tentang geometri dan kemerdekaan bersyarat untuk distribusi normal. Anda dapat menemukan lebih banyak di buku ini .

— NRH

@NRH Geometri dijelaskan di halaman korelasi parsial, yang saya bahkan belum yakin bagaimana hubungannya dengan matriks konsentrasi. Apakah buku model grafis itu memiliki penjelasan tentang unsur-unsur matriks konsentrasi? Terima kasih!

— Vinh Nguyen

lihat jawaban di bawah ini.

— NRH

2

Lihat juga Mengapa inversi dari matriks kovarians menghasilkan korelasi parsial antara variabel acak?

— Amoeba mengatakan Reinstate Monica

34

Pada dasarnya ada dua hal yang bisa dikatakan. Yang pertama adalah bahwa jika Anda melihat kepadatan untuk distribusi normal multivariat (dengan rata-rata 0 di sini) itu sebanding dengan

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$

$P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ diberikan semua variabel lainnya. Inilah buku Steffens, yang saya sebutkan di komentar di atas, tentang semua itu. Independensi bersyarat dan model grafis. Ini memiliki perawatan yang cukup lengkap dari distribusi normal, tetapi mungkin tidak mudah untuk diikuti.

— NRH
sumber

1

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

1

@ Sh3ljohn, Anda benar sekali. Ada minus yang hilang dalam rumus Wikipedia.

— NRH

Bukankah jawaban pertama benar-benar berbicara lebih banyak tentang informasi Fisher daripada matriks presisi? Maksud saya, mereka bertepatan dalam kasus Gaussian yang benar-benar istimewa / bagus, tetapi umumnya tidak bersamaan. Jelas kedua konsep tersebut saling berkaitan (Cramer-Rao batas bawah, distribusi MLE asimptotik, dll.) Tetapi tampaknya tidak membantu untuk mengacaukannya (khususnya saya sampai pada pertanyaan ini mencari pertanyaannya tentang bagaimana membedakan informasi Fisher dan matriks korelasi terbalik).

— Chill2Macht

24

Saya suka model grafis probabilistik ini untuk mengilustrasikan poin NRH bahwa korelasi parsial adalah nol jika dan hanya jika X tidak tergantung secara kondisional dari Y yang diberikan Z, dengan asumsi bahwa semua variabel yang terlibat adalah Gaussian multivarian (properti tidak berlaku dalam kasus umum) :

masukkan deskripsi gambar di sini

$y_i$

Sumber: Pembicaraan David MacKay tentang Gaussian Process Basics , menit ke-25.

— Franck Dernoncourt
sumber

12

Interpretasi berdasarkan korelasi parsial mungkin yang paling berguna secara statistik, karena berlaku untuk semua distribusi multivariat. Dalam kasus khusus dari distribusi Normal multivariat, korelasi parsial nol sesuai dengan independensi bersyarat.

Anda dapat memperoleh interpretasi ini dengan menggunakan komplemen Schur untuk mendapatkan formula untuk entri matriks konsentrasi dalam hal entri matriks kovarians. Lihat http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

— vqv
sumber

11

Matriks kovarian dapat mewakili hubungan antara semua variabel sementara kovarians terbalik, menunjukkan hubungan elemen dengan tetangganya (seperti kata wikipedia hubungan parsial / pasangan).

Saya meminjam contoh berikut dari sini di 24:10, bayangkan 5 massa terhubung bersama dan bersumpah dengan 6 mata air, matriks kovarians akan berisi korelasi semua massa, jika ada yang berjalan benar, yang lain juga bisa berjalan dengan benar. tetapi matriks kovarians terbalik menunjukkan hubungan massa-massa yang dihubungkan oleh pegas yang sama (tetangga) dan mengandung banyak nol dan tidak perlu positif.

— pengguna4581
sumber

1

Di mana ini dijelaskan dalam video? Ini satu jam panjang. Terima kasih!

— Vinh Nguyen

Anda benar, pada 24:10, saya pikir itulah contoh terbaik untuk memahami sifat matriks cov dan kebalikannya

— user4581

5

Bar-Shalom dan Fortmann (1988) menyebutkan tentang kovarians terbalik dalam konteks penyaringan Kalman sebagai berikut:

... [T] di sini adalah rekursi untuk kovarians terbalik (atau matriks informasi )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

$\mathbf{P}^{-1}\hat{\mathbf{x}}$

Buku ini diindeks di Google .

— bintang yang terang
sumber