Mengapa skor komponen utama tidak berkorelasi?

Anggaplah adalah matriks data yang berpusat pada rata-rata. Matriks adalah , memiliki nilai eigen yang berbeda, dan vektor eigen , ... , yang ortogonal. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

The -th komponen utama (beberapa orang menyebutnya "nilai") adalah vektor . Dengan kata lain, itu kombinasi linear dari kolom , di mana koefisien komponen -th eigen dari . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Saya tidak mengerti mengapa dan ternyata tidak berkorelasi untuk semua . Apakah ini mengikuti fakta bahwa dan adalah ortogonal? Tentunya tidak, karena saya dapat dengan mudah menemukan matriks dan sepasang vektor ortogonal sedemikian rupa sehingga dan berkorelasi. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A
sumber

Stat jawaban terkait.stackexchange.com/a/110546/3277 .

— ttnphns

z_{saya}^{⊤} z_{j} = (SEBUAH s_{saya})^{⊤} (SEBUAH s_{j}) = s_{saya}^{⊤} {SEBUAH}^{⊤} SEBUAH s_{j} = (n - 1) s_{saya}^{⊤} S s_{j} = (n - 1) s_{saya} λ_{j} s_{j} = (n - 1) λ_{j} s_{saya} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— amuba
sumber

Matematika: bahasa yang sangat indah.

— Néstor

Ini berarti

dan

adalah ortogonal. Tidak berkorelasi artinya ini pasti benar:

. Saya kira entah bagaimana

, dan kemudian

juga menyiratkan bahwa mereka tidak berkorelasi.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Poin bagus, @Ernest. Berarti memang nol, karena data telah berpusat pada rata-rata (sesuai asumsi Anda). Maka semua proyeksi harus memiliki nol.

— amoeba

@Jubbles karena

, karena

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, saya tidak bisa menahan diri untuk tidak memberikan jawaban yang tidak mengandung teks, tapi mungkin saya harus menambahkan bahwa alasan mendasar mengapa PC tidak berkorelasi adalah karena matriks kovariansnya diberikan oleh

dalam basis vektor eigen, dan dalam basis ini

menjadi diagonal - - itulah inti dari komposisi eigend.

S

$S$

S

$S$

— amoeba