Apakah PCA masih dilakukan melalui komposisi eigend dari matriks kovarians ketika dimensi lebih besar dari jumlah pengamatan?

Saya memiliki matriks , yang mengandung saya sampel dalam ruang dimensi. Saya sekarang ingin kode analisis komponen utama saya sendiri (PCA) di Matlab. Saya merendahkan ke terlebih dahulu. $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Saya membaca dari kode seseorang bahwa dalam skenario seperti itu di mana kita memiliki dimensi lebih dari pengamatan, kita tidak lagi eigen-menguraikan matriks kovarians . Sebagai gantinya, kami eigen-decompose $X_0$ . Mengapa ini benar? $\frac{1}{N-1}X_0X_0^T$

Matriks kovarians normal adalah ukuran , masing-masing elemen memberi tahu kita kovarians antara dua dimensi. Bagi saya, $D\times D$ bahkan tidak memiliki dimensi yang benar! Hal inimatriks, sehingga apa yang akan memberitahu kita? Kovarian antara dua pengamatan ?! $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs Gambling
sumber

Jawaban untuk pertanyaan Anda adalah dalam keadaan bahwa - karena mengikuti dari posing tugas Anda - Anda tidak perlu matriks kovarian kolom untuk dirinya sendiri. Anda hanya menginginkannya sebagai jalur untuk mendapatkan PC. Baik? Tetapi hasil PCA yang sama dapat diperoleh melalui eigen dari X'Xdan XX'(serta svd dari Xdan X'). Apa yang disebut "memuat" dalam satu kasus akan disebut "skor pc" dalam kasus lain dan sebaliknya. Karena keduanya hanya koordinat ( lihat, misalnya ) dan sumbu, "dimensi utama" adalah sama.

— ttnphns

(lanjt.) Jika demikian dan Anda bebas memilih mana yang akan diuraikan - adalah bijaksana untuk menguraikan mana yang harus dilakukan lebih cepat / lebih efisien. Ketika n<pitu membutuhkan lebih sedikit RAM dan lebih sedikit waktu untuk terurai XX'karena ukurannya lebih kecil.

— ttnphns

@ttnphns Penjelasan bagus. Saya mengerti maksudnya sekarang. Namun, saya masih memiliki masalah untuk beralih dari eigen XX'ke PC. Bisakah Anda menunjukkan dengan singkat bagaimana caranya? Mengingat bahwa PC hanyalah vektor eigen dari matriks kovarians, saya berusaha untuk beralih dari eigen XX'ke eigen dari matriks kovarians X'X, tetapi gagal.

— Sibbs Gambling

Saya harus pergi. Mungkin @amoeba (yang jauh lebih gesit dalam aljabar daripada saya) atau pembaca lain akan segera mencari di sini dan membantu Anda. Bersulang.

— ttnphns

@ttnphns: Selesai :)

— amoeba

$D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

$N\times N$

G = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

Analisis komponen utama (PCA) dapat diimplementasikan melalui komposisi eigend dari salah satu matriks ini. Ini hanya dua cara berbeda untuk menghitung hal yang sama.

$\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ G & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

$\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

$\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— amuba
sumber

Jawaban bagus! Saya tidak tahu itu punya nama! Terima kasih banyak! Saya sekarang yakin untuk menggunakannya untuk mempercepat perhitungan saya.

— Perjudian Sibbs

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

Jawaban ini lebih jelas bahwa banyak paparan yang saya lihat di buku. Terima kasih.

— usεr11852

Untuk tujuan referensi murni: Saya pikir makalah Technometrics 1969 dari IJ Good " Beberapa Aplikasi dari Dekomposisi Singular Matriks " adalah salah satu yang pertama untuk pertama kali merujuk sepenuhnya.

— usεr11852

@ MatWenham Tepatnya.

— amoeba