Mengapa pangkat matriks kovarians paling banyak adalah

Seperti yang dinyatakan dalam pertanyaan ini , peringkat maksimum matriks kovarians adalah mana adalah ukuran sampel dan jadi jika dimensi matriks kovarians sama dengan ukuran sampel, itu akan tunggal. Saya tidak mengerti mengapa kita mengurangi dari peringkat maksimum dari matriks kovarians. $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— pengguna3070752
sumber

Untuk mendapatkan intuisi, pikirkan tentang

n = 2

$n=2$ poin dalam 3D. Apa dimensi subruang dari titik-titik ini? Bisakah Anda memasangnya pada satu baris (1D subruang)? Atau apakah Anda memerlukan pesawat (ruang bagian 2D)?

— Amoeba berkata Reinstate Monica

Jadi Anda mengerti bahwa

n = 2

$n=2$ mengarah ke peringkat 1 matriks kovarian? Oke, mari kita ambil

n = 3

$n=3$ poin. Bisakah Anda melihat bahwa Anda selalu bisa memasangnya di pesawat 2D?

— Amoeba berkata Reinstate Monica

@amoeba contoh Anda jelas tapi saya tidak bisa mengerti apa hubungan antara pemasangan hyper-plane dalam contoh Anda dan matriks kovarian?

— user3070752

Maaf atas keterlambatan;)

— user3070752

Jawaban:

Estimator yang tidak bias dari matriks kovarian sampel yang diberikan $n$ titik data $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ adalah manaadalah rata-rata di semua titik. Marilah kita menyatakansebagai. The

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

Faktor

tidak mengubah peringkat, dan setiap istilah dalam jumlah memiliki (menurut definisi) peringkat

, jadi inti dari pertanyaan adalah sebagai berikut:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Mengapa memiliki peringkat dan bukan peringkat , seperti yang terlihat karena kita menjumlahkan matriks peringkat- ? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Jawabannya adalah itu terjadi karena tidak independen. Dengan konstruksi, . Jadi, jika Anda tahu dari , maka tersisa sepenuhnya ditentukan; kita tidak menjumlahkan independen Rank matriks, kita menjumlahkan hanya independen Rank matriks dan kemudian menambahkan satu lagi Rank matriks yang sepenuhnya linear ditentukan oleh sisanya. Penambahan terakhir ini tidak mengubah peringkat keseluruhan. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Kita bisa melihat ini secara langsung jika kita menulis ulang sebagai dan sekarang hubungkan ke ekspresi di atas: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Sekarang hanya ada istilah yang tersisa di penjumlahan dan menjadi jelas bahwa seluruh jumlah dapat memiliki paling banyak peringkat .

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Hasil ini, omong-omong, mengisyaratkan mengapa faktor dalam penaksir kovarians yang tidak memihak adalah dan bukan $\frac{1}{n-1}$ . $\frac{1}{n}$

Intuisi geometris yang saya singgung dalam komentar di atas adalah bahwa seseorang dapat selalu cocok dengan garis 1D untuk dua titik dalam 2D dan satu selalu dapat memasukkan bidang 2D ke tiga titik dalam 3D, yaitu dimensi subruang selalu ; ini hanya berfungsi karena kami menganggap bahwa garis ini (dan bidang) dapat "bergerak" agar sesuai dengan poin kami. "Memposisikan" garis ini (atau bidang) sedemikian sehingga melewati setara dengan berpusat pada argumen aljabar di atas. $n-1$ $\bar \x$

— amuba kata Reinstate Monica
sumber

Agak pendek, saya yakin, penjelasannya seperti ini:

Mari kita mendefinisikan matriks $n$ x $m$ matriks $x$ titik sampel data di mana $n$ adalah sejumlah variabel dan $m$ adalah sejumlah sampel untuk setiap variabel. Mari kita asumsikan bahwa tidak ada variabel yang bergantung secara linear.

Pangkat $x$ adalah $min(n,m)$ .

Mari kita mendefinisikan matriks $n$ x $m$ matriks $z$ dari variabel berpusat searah baris:

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
sumber