Ukuran yang tepat untuk menemukan matriks kovariansi terkecil

Dalam buku teks yang saya baca mereka menggunakan ketajaman positif (semi-positive definiteness) untuk membandingkan dua matriks kovarian. Gagasan bahwa jika $A-B$ adalah pd maka lebih kecil dari . Tapi aku berjuang untuk mendapatkan intuisi dari hubungan ini? $B$ $A$

Ada utas serupa di sini:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Apa intuisi untuk menggunakan ketetapan untuk membandingkan matriks?

Meskipun jawabannya bagus, mereka tidak benar-benar membahas intuisi.

Ini adalah contoh yang saya anggap membingungkan:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

sekarang di sini penentu perbedaannya adalah -25 sehingga hubungannya bukan pd atau bahkan psd dan matriks pertama tidak lebih besar dari yang pertama?

Saya hanya ingin membandingkan dua 3 * 3 matriks kovarian untuk melihat mana yang terkecil? Tampaknya lebih intuitif bagi saya untuk menggunakan sesuatu seperti norma euclidean untuk membandingkannya? Namun ini berarti bahwa matriks pertama di atas lebih besar daripada matix kedua. Selain itu saya hanya pernah melihat kriteria pd / psd yang digunakan untuk membandingkan matriks kovarians.

Adakah yang bisa menjelaskan mengapa pd / psd lebih baik daripada menggunakan ukuran lain seperti norma euclidean?

Saya juga memposting pertanyaan ini di forum matematika (tidak yakin apa yang terbaik) berharap ini tidak melanggar aturan apa pun.

/math/628135/comparing-two-covariance-matrices

— Baz
sumber

Anda mungkin ingin membaca ini di mana intuisi di balik kepastian positif (semi) dipertimbangkan. Ketika Anda membandingkan 2 varian adan b, jika a-bpositif maka kami akan mengatakan bahwa setelah menghapus variabilitas bkeluar dari asana tetap ada beberapa variabilitas "nyata" yang tersisa a. Demikian juga kasus varians multivariat (= matriks kovarians) Adan B. Jika A-Bpositif pasti maka itu berarti bahwa A-Bkonfigurasi vektor "nyata" dalam ruang euclidean: dengan kata lain, setelah mengeluarkan Bdari A, yang terakhir masih merupakan variabilitas yang layak.

— ttnphns

Apa yang Anda maksud dengan "terkecil" dari dua matriks kovarian?

— whuber

Halo, matriks kovarian berhubungan dengan estimator yang bersaing, saya ingin memilih estimator yang memiliki varian terkecil. (Apakah ini memperjelas hal-hal?)

— Baz

Baz: Lalu mengapa tidak membandingkan varians dari estimator secara langsung?

— Glen_b -Reinstate Monica

Hai ada metode yang ditetapkan, ekspresi untuk apa yang mereka sebut varians (yang termasuk kovarian) diberikan. Namun bahkan jika saya membandingkan varian saja ini masih akan melibatkan membandingkan nilai-nilai vektor yang akan memiliki masalah yang sama dengan membandingkan nilai-nilai matriks?

— Baz

Jawaban:

Urutan matriks yang Anda rujuk dikenal sebagai urutan Loewner dan merupakan urutan parsial yang banyak digunakan dalam studi matriks pasti positif. Perlakuan panjang buku dari geometri pada berbagai matriks positif-pasti (posdef) ada di sini .

Pertama-tama saya akan mencoba menjawab pertanyaan Anda tentang intuisi . A (simetris) matriks $A$ adalah posdef jika $c^T A c\ge 0$ untuk semua $c \in \mathbb{R}^n$ . Jika $X$ adalah variabel acak (rv) dengan matriks kovarian $A$ , maka adalah (sebanding dengan) proyeksi pada beberapa subruang satu-redup, dan . Menerapkan ini ke di Q Anda, pertama: itu adalah matriks kovarians, kedua: Variabel acak dengan proyek-proyek matriks kovar di semua arah $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ dengan varians lebih kecil dari rv dengan kovarians matriks . Ini membuatnya secara intuitif jelas bahwa pemesanan ini hanya bisa sebagian, ada banyak rv yang akan diproyeksikan ke arah yang berbeda dengan varian yang sangat berbeda. Proposal Anda tentang beberapa norma Euclidean tidak memiliki interpretasi statistik yang alami. $A$

"Contoh membingungkan" Anda membingungkan karena kedua matriks memiliki nol penentu. Jadi untuk masing-masing, ada satu arah (vektor eigen dengan nilai eigen nol) di mana mereka selalu memproyeksikan ke nol . Tetapi arah ini berbeda untuk kedua matriks, oleh karena itu mereka tidak dapat dibandingkan.

Urutan Loewner didefinisikan sedemikian rupa sehingga , lebih pasti positif daripada , jika adalah posdef. Ini adalah urutan parsial, untuk beberapa matriks posdef, baik maupun tidak posdef. Contohnya adalah: Salah satu cara menunjukkan ini secara grafis adalah menggambar plot dengan dua elips, tetapi berpusat pada asal, terkait dengan cara standar dengan matriks (maka jarak radial di setiap arah sebanding dengan varian memproyeksikan ke arah itu): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

Dalam kasus ini, kedua elips itu kongruen, tetapi diputar secara berbeda (sebenarnya sudutnya 45 derajat). Ini sesuai dengan fakta bahwa matriks dan $A$ $B$ memiliki nilai eigen yang sama, tetapi vektor eigen diputar.

Karena jawaban ini sangat tergantung pada sifat elips, berikut ini Apa intuisi di balik distribusi Gaussian bersyarat? menjelaskan elips secara geometris, dapat membantu.

Sekarang saya akan menjelaskan bagaimana elips yang terkait dengan matriks didefinisikan. Matriks posdef mendefinisikan bentuk kuadratik . Ini dapat diplot sebagai fungsi, grafik akan menjadi kuadratik. Jika maka grafik akan selalu berada di atas grafik . Jika kita memotong grafik dengan bidang horizontal pada ketinggian 1, maka potongan akan menggambarkan elips (yang sebenarnya cara mendefinisikan elips). dipotong ini diberikan oleh persamaan $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$ dan kita melihat bahwa

A ⪯ B

$A \preceq B$ sesuai dengan elips B (sekarang dengan interior) terkandung dalam elips A. Jika tidak ada pesanan, tidak akan ada penahanan. Kami mengamati bahwa urutan inklusi berlawanan dengan urutan parsial Loewner, jika kami tidak suka bahwa kami dapat menggambar elips dari invers. Ini karena setara dengan . Tapi saya akan tetap dengan elips seperti yang didefinisikan di sini.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Elips dapat digambarkan dengan semiax dan panjangnya. Kita hanya akan membahas angka di sini, karena mereka adalah yang dapat kita gambar ... Jadi kita membutuhkan dua sumbu utama dan panjangnya. Ini dapat ditemukan, seperti dijelaskan di sini dengan komposisi eigend dari matriks posdef. Kemudian sumbu utama diberikan oleh vektor eigen, dan panjangnya dapat dihitung dari nilai eigen dengan Kita juga dapat melihat bahwa area elips yang mewakili adalah $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$ .

Saya akan memberikan satu contoh terakhir di mana matriks dapat dipesan:

Dua matriks dalam kasus ini adalah:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
sumber

@ kjetil b halvorsen memberikan diskusi yang bagus tentang intuisi geometris di balik semi-definiteness positif sebagai pemesanan parsial. Saya akan memberikan pandangan yang lebih kotor dengan intuisi yang sama. Yang dihasilkan dari jenis perhitungan apa yang mungkin ingin Anda lakukan dengan matriks varians Anda.

Misalkan Anda memiliki dua variabel acak dan . Jika itu skalar, maka kita dapat menghitung variansnya sebagai skalar, dan membandingkannya dengan cara yang jelas menggunakan angka real skalar dan . Jadi jika dan , kita katakan bahwa variabel acak memiliki varians yang lebih kecil daripada . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

Di sisi lain, jika dan adalah variabel acak bernilai vektor (katakanlah mereka adalah dua vektor), bagaimana kita membandingkan variansnya tidak begitu jelas. Katakan variansnya adalah: Bagaimana kita membandingkan varian dari dua vektor acak ini? Satu hal yang bisa kami lakukan hanyalah membandingkan varian elemen masing-masing. Jadi, kita dapat mengatakan bahwa varians lebih kecil dari varians dengan hanya membandingkan bilangan real, seperti: dan . Jadi, mungkin kita bisa mengatakan varian $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$

x

$x$ adalah varians dari jika varians dari setiap elemen adalah varians dari yang sesuai unsur . Ini akan seperti mengatakan jika masing-masing elemen diagonal adalah elemen diagonal yang sesuai dari .

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Definisi ini tampaknya masuk akal pada blush on pertama. Selain itu, selama matriks varians yang kami pertimbangkan adalah diagonal (yaitu semua kovarian 0), itu sama dengan menggunakan semi-definiteness. Yaitu, jika variasinya seperti lalu mengatakan positif-semi-pasti (yaitu bahwa ) sama dengan mengatakan dan . Semua tampak baik sampai kami memperkenalkan kovarian. Pertimbangkan contoh ini:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Sekarang, menggunakan perbandingan yang hanya mempertimbangkan diagonal, kita akan mengatakan , dan memang benar bahwa elemen demi elemen . Apa yang mungkin mulai mengganggu kita tentang hal ini adalah bahwa jika kita menghitung sejumlah elemen dari vektor, seperti dan , maka kita menemukan fakta bahwa meskipun kita mengatakan .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

Ini aneh, bukan? Ketika dan adalah skalar, maka menjamin bahwa untuk semua , tetap yang tidak acak , $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$ .

Jika, untuk alasan apa pun, kita tertarik kombinasi linear dari elemen-elemen dari variabel-variabel acak seperti ini, maka kita mungkin ingin memperkuat definisi kita tentang untuk matriks varians. Mungkin kita ingin mengatakan jika dan hanya jika benar bahwa , tidak peduli apa nomor tetap dan kita pilih. Perhatikan, ini adalah definisi yang lebih kuat daripada definisi diagonal-satunya karena jika kita memilih dikatakan , dan jika kita memilih dikatakan . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Definisi kedua ini, yang mengatakan jika dan hanya jika untuk setiap kemungkinan vektor tetap , adalah metode umum untuk membandingkan varian matriks berdasarkan positif semi-definiteness: Lihatlah ungkapan terakhir dan definisi semi-pasti positif untuk melihat bahwa definisi untuk matriks varians dipilih tepat untuk menjamin bahwa jika dan hanya jika untuk pilihan , yaitu ketika positif setengah -pasti. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Jadi, jawaban untuk pertanyaan Anda adalah bahwa orang mengatakan varians matrix lebih kecil dari variance matrix jika positif semi-pasti karena mereka tertarik untuk membandingkan varian kombinasi linear dari elemen-elemen dari vektor acak yang mendasarinya. Definisi apa yang Anda pilih mengikuti apa yang Anda minati dalam menghitung dan bagaimana definisi itu membantu Anda dengan perhitungan tersebut. $V$ $W$ $W-V$

— Tagihan
sumber