Pertanyaan yang diberi tag «pca»

Bagaimana PCA, LDA, CCA, dan PLS terkait? Mereka semua tampak "spektral" dan aljabar linier dan sangat dipahami (katakanlah 50+ tahun teori dibangun di sekitar mereka). Mereka digunakan untuk hal-hal yang sangat berbeda (PCA untuk pengurangan dimensi, LDA untuk klasifikasi, PLS untuk regresi) tetapi masih mereka merasa sangat erat terkait.

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

Misalkan Saya menjalankan regresi . Mengapa dengan memilih komponen prinsip k atas X , apakah model mempertahankan daya prediksi pada Y ?Y∼XY∼XY \sim XkkkXXXYYY Saya mengerti bahwa dari dimensi-reduksi / titik fitur-seleksi pandang, jika adalah vektor eigen dari kovarians matriks X dengan top k eigen, maka X v 1 , …

25 regression  classification  pca  dimensionality-reduction  regularization 

Saya punya beberapa pertanyaan tentang penalti punggungan dalam konteks kuadrat terkecil: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Ekspresi menunjukkan bahwa matriks kovarians X menyusut ke arah matriks diagonal, yang berarti bahwa (dengan asumsi bahwa variabel distandarisasi sebelum prosedur) korelasi antara variabel input akan diturunkan. Apakah interpretasi ini benar? 2) …

25 regression  pca  regularization  ridge-regression 

Asumsikan saya memiliki dataset untuk tugas klasifikasi statistik terawasi, misalnya, melalui pengklasifikasi Bayes. Dataset ini terdiri dari 20 fitur dan saya ingin meringkasnya menjadi 2 fitur melalui teknik pengurangan dimensionalitas seperti Principal Component Analysis (PCA) dan / atau Linear Discriminant Analysis (LDA). Kedua teknik memproyeksikan data ke subruang fitur yang …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Saya memiliki data.frame dengan 800 obs. dari 40 variabel, dan ingin menggunakan Analisis Komponen Prinsip untuk meningkatkan hasil prediksi saya (yang sejauh ini bekerja paling baik dengan Mesin Vector Support pada sekitar 15 variabel pilihan). Saya mengerti prcomp dapat membantu saya meningkatkan prediksi saya, tetapi saya tidak tahu bagaimana cara …

25 r  pca 

Saya menyelidiki berbagai teknik yang digunakan dalam pengelompokan dokumen dan saya ingin menghapus beberapa keraguan tentang PCA (analisis komponen utama) dan LSA (analisis semantik laten). Hal pertama - apa perbedaan di antara mereka? Saya tahu bahwa di PCA, dekomposisi SVD diterapkan ke matriks term-kovarians, sedangkan di LSA itu adalah matriks …

25 clustering  pca  data-mining  svd  lsa 

Saya tahu bahwa dalam situasi regresi, jika Anda memiliki satu set variabel yang sangat berkorelasi ini biasanya "buruk" karena ketidakstabilan dalam koefisien yang diperkirakan (varians menuju infinity sebagai determinan menuju nol). Pertanyaan saya adalah apakah "kejahatan" ini tetap ada dalam situasi PCA. Apakah vektor koefisien / beban / bobot / …

25 pca  multicollinearity 

Biasanya dalam analisis komponen utama (PCA) beberapa PC pertama digunakan dan PC varians rendah dijatuhkan, karena mereka tidak menjelaskan banyak variasi dalam data. Namun, adakah contoh di mana PC dengan variasi rendah bermanfaat (yaitu menggunakan dalam konteks data, memiliki penjelasan intuitif, dll.) Dan tidak boleh dibuang?

24 pca 

Saya mencoba untuk memahami perbedaan antara metode reduksi dimensionalitas linier (misalnya, PCA) dan yang nonlinier (misalnya, Isomap). Saya tidak begitu mengerti apa arti linearitas (non) dalam konteks ini. Saya membaca dari Wikipedia itu Sebagai perbandingan, jika PCA (algoritma reduksi dimensionalitas linier) digunakan untuk mengurangi dataset yang sama ini menjadi dua …

24 pca  terminology  dimensionality-reduction  pattern-recognition  manifold-learning 

Saya belajar tentang PCA beberapa kuliah yang lalu di kelas dan dengan menggali lebih banyak tentang konsep yang menarik ini, saya mengetahui tentang PCA yang jarang. Saya ingin bertanya, jika saya tidak salah, ini adalah PCA yang jarang: Di PCA, jika Anda memiliki titik data dengan variabel p , Anda …

24 machine-learning  pca  sparse 

Kami biasanya menggunakan PCA sebagai teknik reduksi dimensi untuk data di mana kasus dianggap iid Pertanyaan: Apa nuansa khas dalam menerapkan PCA untuk data dependen dan non-iid? Apa sifat bagus / berguna PCA yang berlaku untuk data iid dikompromikan (atau hilang seluruhnya)? Sebagai contoh, data dapat berupa deret waktu multivariat …

23 time-series  pca  non-independent  iid 

Dalam dua makalah pada tahun 1986 dan 1988 , Connor dan Korajczyk mengusulkan pendekatan untuk pemodelan pengembalian aset. Karena rangkaian waktu ini biasanya memiliki lebih banyak aset daripada pengamatan periode waktu, mereka mengusulkan untuk melakukan PCA pada kovarian lintas-seksi pengembalian aset. Mereka menyebut metode ini Asymptotic Principal Component Analysis (APCA, …

23 pca  econometrics 

Saya menggunakan prcomp()fungsi untuk melakukan PCA (analisis komponen utama) di R. Namun, ada bug di fungsi itu sehingga na.actionparameter tidak berfungsi. Saya meminta bantuan pada stackoverflow ; dua pengguna di sana menawarkan dua cara berbeda dalam menangani NAnilai. Namun, masalah dengan kedua solusi tersebut adalah ketika ada NAnilai, baris itu …

23 r  pca  missing-data  data-imputation 

Dalam PCA, ketika jumlah dimensi lebih besar dari (atau bahkan sama dengan) jumlah sampel N , mengapa Anda akan memiliki paling banyak N - 1 vektor eigen bukan nol? Dengan kata lain, pangkat matriks kovarians di antara dimensi d ≥ N adalah N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Contoh: Sampel Anda …

22 pca  dimensionality-reduction  eigenvalues 

Pertanyaan ini adalah tentang cara yang efisien untuk menghitung komponen utama. Banyak teks tentang advokasi PCA linier menggunakan dekomposisi nilai singular dari data dengan santai . Yaitu, jika kita memiliki data dan ingin mengganti variabel ( kolomnya ) dengan komponen utama, kita lakukan SVD: , nilai singular (akar kuadrat dari …

22 pca  algorithms  svd  matrix-decomposition