Dalam kondisi apa analisis komponen utama (PCA) dan analisis faktor (FA) diharapkan menghasilkan hasil yang serupa?
p
besar; 2) noise kecil untuk semua variabel; 3) noise hampir sama untuk semua variabel.
Dalam kondisi apa analisis komponen utama (PCA) dan analisis faktor (FA) diharapkan menghasilkan hasil yang serupa?
p
besar; 2) noise kecil untuk semua variabel; 3) noise hampir sama untuk semua variabel.
Jawaban:
Ini adalah pertanyaan yang sangat bagus, tapi sayangnya (atau mungkin untungnya?) Saya baru saja menulis jawaban yang sangat panjang di utas terkait , menjawab pertanyaan Anda hampir persis. Saya dengan hormat meminta Anda untuk melihat ke sana dan melihat apakah itu menjawab pertanyaan Anda.
Secara singkat, jika kita hanya fokus pada pemuatan PCA dan FA , maka perbedaannya adalah PCA menemukan untuk merekonstruksi matriks kovarians sampel (atau korelasi) sampel sedekat mungkin: sedangkan FA menemukan untuk merekonstruksi bagian off-diagonal dari matriks kovarians (atau korelasi):Maksud saya, FA tidak peduli nilai apa yang ada di diagonal, hanya peduli tentang bagian off-diagonal.
Dengan mengingat hal ini, jawaban atas pertanyaan Anda menjadi mudah dilihat. Jika jumlah variabel (ukuran ) besar, maka bagian off-diagonal dari hampir seluruh matriks (diagonal memiliki ukuran dan seluruh ukuran matriks , sehingga kontribusi dari diagonal hanya ), sehingga kita dapat berharap bahwa PCA mendekati FA dengan baik. Jika nilai-nilai diagonal agak kecil, sekali lagi mereka tidak memainkan banyak peran untuk PCA, dan PCA akhirnya menjadi dekat dengan FA, persis seperti yang dikatakan @ttnphns di atas.
Jika, di sisi lain, kecil atau didominasi kuat oleh diagonal (khususnya jika memiliki nilai yang sangat berbeda pada diagonal), maka PCA harus bias terhadap mereproduksi diagonal juga, dan jadi akan menjadi sangat berbeda dari FA. Satu contoh diberikan di utas ini:
p-m
p
m