Apakah ada kelebihan SVD dibandingkan PCA?

Saya tahu cara menghitung PCA dan SVD secara matematis, dan saya tahu bahwa keduanya dapat diterapkan pada regresi Linear Least Squares.

Keuntungan utama dari SVD secara matematis adalah dapat diterapkan pada matriks non-kuadrat.

Kedua fokus pada dekomposisi dari matriks. Selain keunggulan SVD yang disebutkan, apakah ada keuntungan atau wawasan tambahan yang diberikan dengan menggunakan SVD melalui PCA? $X^\top X$

Saya benar-benar mencari intuisi daripada perbedaan matematika.

pca least-squares svd

— Baz
sumber

Pertanyaannya tidak jelas. Pertama Anda menyebutkan regresi OLS. Kemudian menghilang. Selanjutnya, advantage... SVD over PCA- svd dan PCA tidak dapat dibandingkan sebagai operasi matematis dan metode analisis data. Bisakah pertanyaan Anda tentang cara melakukan PCA ? Atau apa yang kamu tanyakan?

— ttnphns

Maaf karena tidak jelas. Saya memiliki penduga tipe ridge yang diturunkan menggunakan PCA dan yang lainnya menggunakan SVD. Ada perbedaan dalam cara model diatur yaitu itu syarat informasi sebelumnya yang mereka gunakan. Tetapi mereka ditulis oleh penulis yang sama. Saya mencoba memahami perbedaan di antara mereka dan mencoba mencari tahu mengapa ia akan menggunakan PCA vs SVD sebagai dasar untuk analisisnya. Mungkin itu sewenang-wenang, tetapi jika saya bisa memahami pro dan kontra itu akan membantu. Sejauh ini tampaknya SVD hanyalah cara untuk melakukan PCA yang cenderung lebih stabil secara numerik.

— Baz

Itu bagus tapi saya hanya ingin tahu apakah menggunakan SVD juga menghasilkan wawasan ekonometrik tambahan / intuisi tentang masalah tersebut.

— Baz

Jika Anda ingin fokus khusus pada ekonometrik, saya pikir Anda perlu menjelaskannya dalam pertanyaan dan menjelaskan alasannya. Saya tidak dapat melihat bahwa diskusi tentang SVD dan PCA, yang merupakan jenis binatang yang sangat berbeda, berbeda untuk ekonometrik daripada untuk cabang ilmu statistik lainnya.

— Nick Cox

@Baz: "Sejauh ini tampaknya SVD hanyalah cara untuk melakukan PCA yang cenderung lebih stabil secara numerik" - [dalam konteks ini] memang benar, ya.

— Amuba kata Reinstate Monica

Jawaban:

$X^T X$ $X X^T$

Jadi tidak ada "keuntungan" untuk SVD dibandingkan PCA karena itu seperti bertanya apakah metode Newton lebih baik daripada kuadrat terkecil: keduanya tidak sebanding.

— ungu51
sumber

Contoh yang bagus tentang bagaimana jawaban singkat dan ringkas masih bisa sampai ke inti pertanyaan.

— Nick Cox

Wow, 8 upvotes untuk jawaban ini dan 0 upvotes untuk pertanyaan awal. Ini tidak masuk akal. Jika Anda memilih jawaban secara terbalik, pertimbangkan juga untuk membatalkan pertanyaan!

— Amoeba berkata Reinstate Monica

@amoeba Pertanyaan untuk saya bingung. Jawabannya memperjelas apa kebingungannya. Saya pikir itu adalah penjelasan yang bagus untuk perbedaan suara.

— Nick Cox

Sebenarnya untuk menjadi lebih bertele-tele, SVD bukan metode numerik per se, ini adalah operasi aljabar linier, yang dapat diimplementasikan menggunakan metode numerik spesifik yang melibatkan hal-hal seperti transformasi Householder ...

— purple51

Namun keuntungan (ketika menurunkan Komponen Utama melalui) SVD adalah yang numerik: lebih presisi. Lihat misalnya Jolliffe (2002). Mungkin

— Nikos Alexandris

Pertanyaannya adalah benar-benar bertanya apakah Anda harus melakukan normalisasi Z-skor kolom sebelum menerapkan SVD. Ini karena PCA adalah transformasi di atas diikuti oleh SVD. Terkadang melakukan normalisasi cukup berbahaya. Jika data Anda misalnya (diubah) jumlah kata yang positif, mengurangi rerata itu pasti berbahaya. Ini karena nol yang mewakili tidak adanya kata dalam dokumen akan dipetakan ke angka negatif dengan magnitudo tinggi. Dalam masalah linear, magnitudo yang lebih tinggi harus digunakan untuk mewakili kisaran di mana fitur Anda paling sensitif. Membagi dengan deviasi standar berbahaya untuk jenis data ini.

— Stefan Savev
sumber

Ini adalah contoh yang menarik, tetapi saya percaya ini seharusnya menjadi bagian dari utas lainnya. PCA pasti dapat dilakukan tanpa z-scoring, jadi saya tidak setuju dengan kalimat pertama Anda: bukan itu pertanyaan ini "benar-benar bertanya".

— Amuba kata Reinstate Monica

PCA dan SVD adalah sama jika Anda mengabaikan mengurangi sarana (ini adalah skor-Z yang saya sebutkan, kadang-kadang orang memberikan PCA dengan pembagian oleh stdev). Jadi saya tidak setuju bahwa Anda dapat melakukan PCA tanpa mengurangi sarana. Anda dapat melakukan PCA pada matriks non-persegi juga.

— Stefan Savev