Mengapa matriks kovarians sampel tunggal ketika ukuran sampel kurang dari jumlah variabel?

30

Katakanlah saya memiliki distribusi Gaussian multivariat dimensional. Dan saya mengambil pengamatan (masing-masing satu -vector) dari distribusi ini dan menghitung sampel kovarians matriks . Dalam hal ini kertas , negara penulis bahwa matriks kovarians sampel dihitung dengan adalah tunggal. $p$ $n$ $p$ $S$ $p > n$

Bagaimana itu benar atau diturunkan?
Ada penjelasan?

covariance-matrix linear-algebra

— pengguna34790
sumber

4

Perhatikan bahwa ini benar-benar independen dari distribusi yang mendasarinya: tidak perlu menjadi Gauss.

— Amoeba berkata Reinstate Monica

22

Beberapa fakta tentang peringkat matriks, ditawarkan tanpa bukti (tetapi bukti dari semua atau hampir semuanya harus diberikan dalam teks aljabar linier standar, atau dalam beberapa kasus ditetapkan sebagai latihan setelah memberikan informasi yang cukup untuk dapat melakukannya):

Jika dan adalah dua matriks yang sesuai, maka: $A$ $B$

(i) peringkat kolom = peringkat baris $A$ $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) jika $B$ adalah matriks kuadrat dari peringkat penuh, maka $\text{rank}(AB) = \text{rank}(A)$

Pertimbangkan $n\times p$ matriks data sampel, $y$ . Dari yang di atas, pangkat $y$ paling banyak $\min(n,p)$ .

Lebih jauh, dari yang di atas jelas peringkat tidak akan lebih besar dari peringkat (dengan mempertimbangkan perhitungan dalam bentuk matriks, dengan mungkin beberapa penyederhanaan). $S$ $y$ $S$

Jika maka dalam hal ini . $n<p$ $\text{rank}(y)<p$ $\text{rank}(S)<p$

— Glen_b -Reinstate Monica
sumber

jawaban bagus! Namun tidak sepenuhnya jelas bagaimana y dan S berhubungan dengan A dan B?

— Matifou

S dihitung dari y; ("x" di posting asli). Anda dapat menggunakan fakta tentang y dan manipulasi yang dilakukan di atasnya (melalui aturan di atas) untuk membuat ikatan pada peringkat S. Peran yang dimainkan oleh A dan B berubah dari langkah ke langkah.

— Glen_b -Reinstate Monica

14

Jawaban singkat untuk pertanyaan Anda adalah peringkat . Jadi jika , maka adalah singular. $(S) \le n - 1$ $p > n$ $S$

Untuk jawaban yang lebih terperinci, ingat bahwa matriks kovarians sampel (tidak bias) dapat ditulis sebagai

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T} .

$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$

Secara efektif, kami menjumlahkan matriks, masing-masing memiliki pangkat 1. Dengan asumsi pengamatan independen secara linear, dalam beberapa hal setiap pengamatan berkontribusi 1 ke peringkat , dan 1 dikurangkan dari peringkat (jika ) karena kami memusatkan setiap pengamatan dengan . Namun, jika multikolinearitas hadir dalam pengamatan, maka peringkat dapat dikurangi, yang menjelaskan mengapa peringkat tersebut mungkin kurang dari . $n$ $x_i$ $(S)$ $p > n$ $\bar{x}$ $(S)$ $n - 1$

Sejumlah besar pekerjaan telah dilakukan untuk mempelajari masalah ini. Sebagai contoh, seorang kolega saya dan saya menulis makalah tentang topik yang sama, di mana kami tertarik untuk menentukan bagaimana melanjutkan jika adalah tunggal ketika diterapkan pada analisis diskriminan linier dalam pengaturan . $S$ $p \gg n$

— ramhiser
sumber

4

Bisakah Anda menjelaskan mengapa mengurangi 1 karena kami memusatkan setiap pengamatan dengan $\bar x$ ?

— alpukat

@loganecolss: Lihat Mengapa pangkat matriks kovarian paling banyak

?

n - 1

$n−1$ untuk jawaban atas pertanyaan Anda.

— Amoeba berkata Reinstate Monica

Jawaban bagus! Mungkin bisa menambahkan penjelasan / tautan untuk fakta pernyataan yang kami simpulkan 𝑛 matriks, masing-masing memiliki peringkat 1 ? Terima kasih!

— Matifou

10

Ketika Anda melihat situasi dengan cara yang benar, kesimpulan secara intuitif jelas dan langsung.

Posting ini menawarkan dua demonstrasi. Yang pertama, tepat di bawah, adalah dalam kata-kata. Ini setara dengan gambar sederhana, muncul di bagian paling akhir. Di antaranya adalah penjelasan tentang apa arti kata-kata dan gambar.

Kovarians matriks untuk pengamatan -variate adalah matriks dihitung dengan kiri mengalikan matriks (data recentered) oleh transposnya . Produk matriks ini mengirimkan vektor melalui pipa ruang vektor di mana dimensi dan . Akibatnya matriks kovarians, qua transformasi linear, akan mengirim ke dalam ruang bagian yang dimensi adalah paling . $n$ $p$ $p\times p$ $\mathbb{X}_{np}$ $\mathbb{X}_{pn}^\prime$ $p$ $n$ $\mathbb{R}^n$ $\min(p,n)$ Langsung bahwa pangkat matriks kovarians tidak lebih besar dari . $\min(p,n)$ Akibatnya, jika maka pangkatnya paling banyak , yang - karena lebih kecil dari berarti matriks kovarians adalah singular. $p\gt n$ $n$ $p$

Semua terminologi ini sepenuhnya dijelaskan dalam sisa posting ini.

(Seperti yang Amoeba tunjukkan dengan ramah pada komentar yang sekarang dihapus, dan ditunjukkan dalam jawaban untuk pertanyaan terkait , gambar sebenarnya terletak pada codimension-one subruang dari (terdiri dari vektor yang komponen dijumlahkan ke nol) karena semua kolomnya telah dipusatkan kembali pada nol. Oleh karena itu pangkat matriks kovarian sampel tidak dapat melebihi ) $\mathbb X$ $\mathbb{R}^n$ $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ $n-1$

Aljabar linier adalah semua tentang pelacakan dimensi ruang vektor. Anda hanya perlu menghargai beberapa konsep dasar untuk memiliki intuisi mendalam untuk pernyataan tentang pangkat dan singularitas:

Perkalian matriks merupakan transformasi linear dari vektor. Sebuah matriks merupakan transformasi linear dari berdimensi ruang ke berdimensi ruang . Secara khusus, ia mengirimkan ke . Bahwa ini adalah transformasi linear segera mengikuti dari definisi transformasi linear dan sifat-sifat dasar aritmatika perkalian matriks. $m\times n$ $\mathbb{M}$ $n$ $V^n$ $m$ $V^m$ $x\in V^n$ $\mathbb{M}x = y \in V^m$
Transformasi linier tidak pernah dapat meningkatkan dimensi. Ini berarti bahwa citra seluruh ruang vektor di bawah transformasi (yang merupakan ruang sub-vektor dari ) dapat memiliki dimensi tidak lebih besar dari . Ini adalah teorema (mudah) yang mengikuti dari definisi dimensi. $V^n$ $\mathbb M$ $V^m$ $n$
Dimensi ruang sub-vektor tidak dapat melebihi ruang di mana ia berada. Ini adalah teorema, tetapi sekali lagi jelas dan mudah dibuktikan.
The rank dari transformasi linear adalah dimensi citra. Pangkat matriks adalah pangkat transformasi linear yang diwakilinya. Ini adalah definisi.
Sebuah singular matriks memiliki peringkat ketat kurang dari $\mathbb{M}_{mn}$ $n$ (dimensi domainnya). Dengan kata lain, citranya memiliki dimensi yang lebih kecil. Ini adalah definisi.

Untuk mengembangkan intuisi, ada baiknya melihat dimensi. Oleh karena itu saya akan menulis dimensi semua vektor dan matriks segera setelah mereka, seperti dalam dan . Demikianlah rumus generiknya $\mathbb{M}_{mn}$ $x_n$

y_{m} = M_{m n} x_{n}

$y_m = \mathbb{M}_{mn} x_n$

dimaksudkan untuk berarti bahwa matriks , bila diterapkan pada -vector , menghasilkan -vector . $m\times n$ $\mathbb M$ $n$ $x$ $m$ $y$

Produk dari matriks dapat dianggap sebagai "pipa" dari transformasi linear. Umum, misalkan merupakan vektor berdimensi yang dihasilkan dari aplikasi berturut-turut dari linear transformasi dan ke -vector yang datang dari ruang . Ini mengambil vektor berurutan melalui seperangkat ruang vektor dimensi $y_a$ $a$ $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ $\mathbb{A}_{ab}$ $n$ $x_n$ $V^n$ $x_n$ dan akhirnya . $m, l, \ldots, c, b,$ $a$

Cari bottleneck : karena dimensi tidak dapat meningkat (titik 2) dan subruang tidak dapat memiliki dimensi lebih besar dari ruang di mana mereka berada (titik 3), maka dimensi gambar tidak dapat melebihi dimensi terkecil ditemui di dalam pipa. $V^n$ $\min(a,b,c,\ldots,l,m,n)$

Diagram pipa ini, kemudian, sepenuhnya membuktikan hasilnya ketika diterapkan pada produk : $\mathbb{X}^\prime \mathbb{X}$

— whuber
sumber