Apakah komponen PCA dari data Gaussian multivarian secara statistik independen?

Apakah komponen PCA (dalam analisis komponen utama) secara statistik independen jika data kami terdistribusi normal multivarian? Jika demikian, bagaimana ini dapat ditunjukkan / dibuktikan?

Saya bertanya karena saya melihat posting ini , di mana jawaban teratas menyatakan:

PCA tidak membuat asumsi Gaussianity eksplisit. Ia menemukan vektor eigen yang memaksimalkan varians yang dijelaskan dalam data. Ortogonalitas dari komponen utama berarti bahwa ia menemukan komponen yang paling tidak berkorelasi untuk menjelaskan sebanyak mungkin variasi dalam data. Untuk distribusi gaussian multivariat, korelasi nol antara komponen menyiratkan independensi yang tidak berlaku untuk sebagian besar distribusi.

Jawabannya dinyatakan tanpa bukti, dan tampaknya menyiratkan bahwa PCA menghasilkan komponen independen jika data multivarian normal.

Secara khusus, katakanlah data kami adalah sampel dari:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

kami menempatkan $n$ sampel $\mathbf{x}$ ke dalam baris matriks sampel $\mathbf{X}$ , jadi $\mathbf{X}$ adalah $n \times m$ . Menghitung hasil SVD dari $\mathbf{X}$ (setelah pemusatan)

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Dapatkah kita mengatakan bahwa kolom $\mathbf{U}$ secara statistik independen, juga maka deretan $\mathbf{V}^T$ ? Apakah ini benar secara umum, hanya untuk $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ , atau tidak benar sama sekali?

pca independence svd

— bill_e
sumber

stats.stackexchange.com/q/110508/3277 adalah pertanyaan serupa.

— ttnphns

Saya tidak melihat bagaimana PC dapat dianggap "independen secara statistik" dalam lebih dari satu dimensi. Bagaimanapun, menurut definisi masing-masing adalah ortogonal bagi yang lain; ketergantungan fungsional ini menciptakan ketergantungan statistik yang sangat kuat.

— whuber

@amoeba Saya harap saya telah secara konsisten yang jelas serta setia kepada pertanyaan, yang saya temukan untuk menjadi dinyatakan dengan jelas dan tidak ambigu: karena data

adalah acak, sehingga semua entri dalam

. Saya telah menerapkan definisi independensi statistik untuk mereka. Itu saja. Masalah Anda tampaknya adalah bahwa Anda menggunakan kata "tidak berkorelasi" dalam dua pengertian yang sangat berbeda tanpa kelihatannya menyadarinya: berdasarkan bagaimana kolom

dibangun, mereka secara geometri ortogonal sebagai vektor dalam , tetapi mereka tidak berarti vektor acak independen!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— whuber

@amoeba Anda benar - simulasi cukup meyakinkan menunjukkan korelasinya bisa (sangat) nol. Namun, saya tidak membantah bahwa "komponen PCA tidak berkorelasi" dalam arti "korelasi" = "ortogonal," saya juga tidak mengatakan buku teks tertentu salah. Kekhawatiran saya adalah bahwa pernyataan seperti itu, dipahami dengan baik, sangat tidak relevan dengan pertanyaan yang dapat dilakukan (dan telah dilakukan) menabur kebingungan yang luas dalam konteks saat ini.

— whuber

@whuber, saya yakin Anda telah menantikan edisi lain dari jawaban saya! Ini dia. Saya secara eksplisit mengakui poin Anda tentang ketergantungan, dan membuat pernyataan bahwa kolom-kolom

bebas asimptotik , sebagai poin utama saya. Di sini "tanpa gejala" mengacu pada jumlah

dari pengamatan (baris). Saya sangat berharap kami akan dapat menyetujui hal itu! Saya juga berpendapat bahwa untuk

masuk akal , seperti

, ketergantungan antara kolom "praktis tidak relevan". Saya kira ini adalah poin yang lebih kontroversial, tetapi saya mencoba membuatnya cukup tepat dalam jawaban saya.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— Amuba kata Reinstate Monica

Saya akan mulai dengan demonstrasi intuitif.

Saya menghasilkan pengamatan (a) dari distribusi 2D yang sangat non-Gaussian, dan (b) dari distribusi 2D Gaussian. Dalam kedua kasus saya memusatkan data dan melakukan dekomposisi nilai singular . Kemudian untuk setiap kasus saya membuat plot pencar dari dua kolom pertama , satu terhadap yang lain. Perhatikan bahwa biasanya kolom yang disebut "komponen utama" (PC); kolom adalah PC yang diskalakan untuk memiliki norma satuan; masih, dalam jawaban ini saya fokus pada kolom . Berikut adalah plot pencar: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

Saya pikir pernyataan seperti "komponen PCA tidak berkorelasi" atau "komponen PCA tergantung / independen" biasanya dibuat tentang satu matriks sampel spesifik dan merujuk pada korelasi / dependensi lintas baris (lihat misalnya jawaban @ ttnphns di sini ). PCA menghasilkan matriks data transformasi , di mana baris adalah pengamatan dan kolom adalah variabel PC. Yaitu kita dapat melihat sebagai sampel , dan bertanya apa korelasi sampel antara variabel PC. Matriks korelasi sampel ini tentu saja diberikan oleh $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ , artinya korelasi sampel antara variabel PC adalah nol. Inilah yang orang maksud ketika mereka mengatakan bahwa "PCA mendiagonisasi matriks kovarians", dll.

Kesimpulan 1: dalam koordinat PCA, data apa pun memiliki korelasi nol.

Ini berlaku untuk kedua plot sebar di atas. Namun, segera jelas bahwa dua variabel PC dan di sebar kiri (non-Gaussian) tidak independen; meskipun mereka memiliki korelasi nol, mereka sangat tergantung dan pada kenyataannya terkait dengan . Dan memang, sudah diketahui umum bahwa tidak berkorelasi bukan berarti mandiri $x$ $y$ $y\approx a(x-b)^2$ .

Sebaliknya, dua variabel PC dan di sebar kanan (Gaussian) tampaknya "cukup independen". Komputasi informasi timbal balik di antara mereka (yang merupakan ukuran ketergantungan statistik: variabel independen memiliki nol informasi bersama) dengan algoritma standar apa pun akan menghasilkan nilai yang sangat mendekati nol. Tidak akan persis nol, karena tidak pernah benar-benar nol untuk ukuran sampel hingga (kecuali disetel dengan baik); Selain itu, ada berbagai metode untuk menghitung informasi timbal balik dari dua sampel, memberikan jawaban yang sedikit berbeda. Tetapi kita dapat berharap bahwa metode apa pun akan menghasilkan perkiraan informasi timbal balik yang sangat mendekati nol. $x$ $y$

Kesimpulan 2: dalam koordinat PCA, data Gaussian "cukup independen", yang berarti bahwa estimasi standar ketergantungan akan berada di sekitar nol.

Namun, pertanyaannya lebih rumit, seperti yang ditunjukkan oleh rantai komentar yang panjang. Memang, @whuber dengan tepat menunjukkan bahwa variabel PCA dan (kolom ) harus bergantung secara statistik: kolom harus panjang unit dan harus ortogonal, dan ini menimbulkan ketergantungan. Misalnya jika beberapa nilai di kolom pertama sama dengan , maka nilai yang sesuai di kolom kedua harus $x$ $y$ $\mathbf U$ $1$ $0$ .

Ini benar, tetapi praktis hanya relevan untuk sangat kecil , seperti misalnya (dengan setelah pemusatan hanya ada satu PC). Untuk ukuran sampel yang masuk akal, seperti ditunjukkan pada gambar saya di atas, efek ketergantungan akan diabaikan; kolom adalah proyeksi (skala) dari data Gaussian, sehingga mereka juga Gaussian, yang membuatnya hampir mustahil untuk satu nilai mendekati (ini akan membutuhkan semua elemen mendekati , yang hampir tidak distribusi Gaussian). $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Kesimpulan 3: secara tegas, untuk setiap terbatas , data Gaussian dalam koordinat PCA tergantung; Namun, ketergantungan ini secara praktis tidak relevan untuk setiap . $n$ $n\gg 1$

Kita dapat membuat ini tepat dengan mempertimbangkan apa yang terjadi dalam batas . Dalam batas ukuran sampel yang tak terbatas, matriks kovarian sampel sama dengan matriks kovarians populasi . Jadi jika data vektor adalah sampel dari , maka variabel PC (di mana dan $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ adalah nilai eigen dan vektor eigen dari ) dan . Yaitu variabel PC berasal dari Gaussian multivariat dengan kovarians diagonal. Tetapi setiap Gaussian multivarian dengan matriks kovariansi diagonal terurai menjadi produk Gaussians univariat, dan ini adalah definisi independensi statistik : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Kesimpulan 4: variabel PC asimtotik ( ) dari data Gaussian secara statistik independen sebagai variabel acak, dan sampel informasi timbal balik akan memberikan nilai populasi nol. $n \to \infty$

Saya harus mencatat bahwa dimungkinkan untuk memahami pertanyaan ini secara berbeda (lihat komentar oleh @whuber): untuk mempertimbangkan seluruh matriks variabel acak (diperoleh dari matriks acak melalui operasi tertentu) dan bertanya apakah ada dua elemen spesifik dan dari dua kolom yang berbeda secara statistik independen di seluruh undian berbeda . Kami menjelajahi pertanyaan ini di utas berikutnya . $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Inilah keempat kesimpulan sementara dari atas:

Dalam koordinat PCA, data apa pun memiliki korelasi nol.
Dalam koordinat PCA, data Gaussian "cukup independen", yang berarti bahwa perkiraan standar ketergantungan akan berada di sekitar nol.
$n$ $n\gg 1$ .
$n \to \infty$

— amuba kata Reinstate Monica
sumber

Anda menulis "Namun, jika data Gaussian multivarian, maka mereka memang independen". 'Mereka' menjadi komponen utama, dan koefisiennya? Apa yang Anda maksud dengan PCA mendiagonalisasi matriks kovarians? Terima kasih atas tanggapan Anda!

— bill_e

S

$S$

U

$U$ bersifat ortogonal, artinya matriks kovariannya diagonal. Semua itu berarti PC memiliki korelasi nol.

— Amuba mengatakan Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

— bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

— amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

— bill_e