Mengapa pangkat matriks kovarians paling banyak adalah


17

Seperti yang dinyatakan dalam pertanyaan ini , peringkat maksimum matriks kovarians adalah mana adalah ukuran sampel dan jadi jika dimensi matriks kovarians sama dengan ukuran sampel, itu akan tunggal. Saya tidak mengerti mengapa kita mengurangi dari peringkat maksimum dari matriks kovarians.n 1 nn1n1n


1
Untuk mendapatkan intuisi, pikirkan tentang n=2 poin dalam 3D. Apa dimensi subruang dari titik-titik ini? Bisakah Anda memasangnya pada satu baris (1D subruang)? Atau apakah Anda memerlukan pesawat (ruang bagian 2D)?
Amoeba berkata Reinstate Monica

Jadi Anda mengerti bahwa n=2 mengarah ke peringkat 1 matriks kovarian? Oke, mari kita ambil n=3 poin. Bisakah Anda melihat bahwa Anda selalu bisa memasangnya di pesawat 2D?
Amoeba berkata Reinstate Monica

4
@amoeba contoh Anda jelas tapi saya tidak bisa mengerti apa hubungan antara pemasangan hyper-plane dalam contoh Anda dan matriks kovarian?
user3070752

Maaf atas keterlambatan;)
user3070752

Jawaban:


20

Estimator yang tidak bias dari matriks kovarian sampel yang diberikan n titik data xiRd adalah mana ˉ x =xi/nadalah rata-rata di semua titik. Marilah kita menyatakan(xi- ˉ x )sebagaizi. The1

C=1n1i=1n(xix¯)(xix¯),
x¯=xi/n(xix¯)ziFaktor n - 1 tidak mengubah peringkat, dan setiap istilah dalam jumlah memiliki (menurut definisi) peringkat1, jadi inti dari pertanyaan adalah sebagai berikut:1n11

Mengapa memiliki peringkat n - 1 dan bukan peringkat n , seperti yang terlihat karena kita menjumlahkan matriks n peringkat- 1 ?zizin1nn1

Jawabannya adalah itu terjadi karena tidak independen. Dengan konstruksi, z i = 0 . Jadi, jika Anda tahu n - 1 dari z i , maka z n yang tersisa sepenuhnya ditentukan; kita tidak menjumlahkan n independen Rank 1 matriks, kita menjumlahkan hanya n - 1 independen Rank 1 matriks dan kemudian menambahkan satu lagi Rank 1 matriks yang sepenuhnya linear ditentukan oleh sisanya. Penambahan terakhir ini tidak mengubah peringkat keseluruhan.zizi=0n1ziznn1n111

Kita bisa melihat ini secara langsung jika kita menulis ulang sebagai z n = - n - 1 Σ i = 1 z i , dan sekarang hubungkan ke ekspresi di atas: n Σ i = 1 z i z i = n - 1 i = 1 z i z i + ( - n - 1 i = 1zi=0

zn=i=1n1zi,
Sekarang hanya ada n - 1 istilah yang tersisa di penjumlahan dan menjadi jelas bahwa seluruh jumlah dapat memiliki paling banyak peringkat n - 1 .
i=1nzizi=i=1n1zizi+(i=1n1zi)zn=i=1n1zi(zizn).
n1n1

Hasil ini, omong-omong, mengisyaratkan mengapa faktor dalam penaksir kovarians yang tidak memihak adalah dan bukan11n1 .1n

Intuisi geometris yang saya singgung dalam komentar di atas adalah bahwa seseorang dapat selalu cocok dengan garis 1D untuk dua titik dalam 2D ​​dan satu selalu dapat memasukkan bidang 2D ke tiga titik dalam 3D, yaitu dimensi subruang selalu ; ini hanya berfungsi karena kami menganggap bahwa garis ini (dan bidang) dapat "bergerak" agar sesuai dengan poin kami. "Memposisikan" garis ini (atau bidang) sedemikian sehingga melewati ˉ x setara dengan berpusat pada argumen aljabar di atas.n1x¯


0

Agak pendek, saya yakin, penjelasannya seperti ini:

Mari kita mendefinisikan matriks n x m matriks x titik sampel data di mana n adalah sejumlah variabel dan m adalah sejumlah sampel untuk setiap variabel. Mari kita asumsikan bahwa tidak ada variabel yang bergantung secara linear.

Pangkat x adalah min(n,m) .

Mari kita mendefinisikan matriks n x m matriks z dari variabel berpusat searah baris:

z=xE[x]

min(n,m1)

i=1mzi=0

z

x

cov(x,x)=1m1zzT

rank(zzT)

rank(zzT)=rank(z)=min(n,m1)

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.