Memahami analisis komponen utama, vektor eigen & nilai eigen

Di kelas pengenalan pola hari ini, profesor saya berbicara tentang PCA, vektor eigen, dan nilai eigen.

Saya mengerti matematika itu. Jika saya diminta untuk menemukan nilai eigen dll. Saya akan melakukannya dengan benar seperti mesin. Tapi saya tidak memahaminya . Saya tidak mendapatkan tujuan itu. Saya tidak merasakannya.

Saya sangat percaya pada kutipan berikut:

Anda tidak benar-benar memahami sesuatu kecuali Anda bisa menjelaskannya kepada nenek Anda. -- Albert Einstein

Yah, saya tidak bisa menjelaskan konsep-konsep ini kepada orang awam atau nenek.

1. Mengapa PCA, vektor eigen & nilai eigen? Apa yang dibutuhkan konsep-konsep ini?
2. Bagaimana Anda menjelaskan ini kepada orang awam?

Bayangkan makan malam keluarga yang besar, di mana semua orang mulai bertanya tentang PCA. Pertama Anda menjelaskannya kepada nenek buyut Anda; kemudian untuk Anda nenek; lalu ke ibumu; kemudian ke pasangan Anda; akhirnya, untuk putri Anda (yang merupakan ahli matematika). Setiap kali orang berikutnya kurang dari orang awam. Berikut adalah cara percakapannya.

Nenek buyut: Saya mendengar Anda sedang belajar "Pee-See-Ay". Aku ingin tahu apa itu ...

Anda: Ah, itu hanya metode meringkas beberapa data. Lihat, kami punya beberapa botol anggur berdiri di sini di atas meja. Kita dapat menggambarkan masing-masing anggur berdasarkan warnanya, seberapa kuatnya, seberapa usianya, dan sebagainya (lihat visualisasi yang sangat bagus dari sifat-sifat anggur yang diambil dari sini ). Kita dapat menyusun seluruh daftar karakteristik yang berbeda dari setiap anggur di ruang bawah tanah kita. Tetapi banyak dari mereka akan mengukur properti terkait dan akan berlebihan. Jika demikian, kita harus dapat meringkas setiap anggur dengan karakteristik yang lebih sedikit! Inilah yang dilakukan PCA.

Nenek: Ini menarik! Jadi PCA ini memeriksa karakteristik apa yang mubazir dan membuangnya?

Anda: Pertanyaan bagus, nenek! Tidak, PCA tidak memilih beberapa karakteristik dan membuang yang lain. Sebaliknya, itu membangun beberapa karakteristik baru yang ternyata meringkas daftar anggur kami dengan baik. Tentu saja karakteristik baru ini dibangun menggunakan yang lama; misalnya, karakteristik baru dapat dihitung sebagai usia anggur dikurangi tingkat keasaman anggur atau kombinasi lainnya seperti itu (kami menyebutnya kombinasi linear ).

Bahkan, PCA menemukan karakteristik terbaik, yang merangkum daftar anggur serta hanya mungkin (di antara semua kombinasi linier yang mungkin). Inilah mengapa sangat bermanfaat.

Ibu: Hmmm, ini kedengarannya bagus, tapi saya tidak yakin saya mengerti. Apa yang sebenarnya Anda maksudkan ketika Anda mengatakan bahwa karakteristik PCA baru ini "meringkas" daftar anggur?

Anda: Saya kira saya bisa memberikan dua jawaban berbeda untuk pertanyaan ini. Jawaban pertama adalah bahwa Anda mencari beberapa sifat anggur (karakteristik) yang sangat berbeda di seluruh anggur. Memang, bayangkan Anda memiliki properti yang sama untuk sebagian besar anggur. Ini tidak akan sangat berguna, bukan? Anggur sangat berbeda, tetapi properti baru Anda membuat semuanya terlihat sama! Ini tentu saja ringkasan yang buruk. Sebaliknya, PCA mencari properti yang menunjukkan variasi anggur sebanyak mungkin.

Jawaban kedua adalah Anda mencari properti yang memungkinkan Anda untuk memprediksi, atau "merekonstruksi", karakteristik anggur asli. Sekali lagi, bayangkan Anda membuat properti yang tidak ada hubungannya dengan karakteristik aslinya; jika Anda hanya menggunakan properti baru ini, tidak mungkin Anda dapat merekonstruksi yang asli! Ini, sekali lagi, akan menjadi ringkasan yang buruk. Jadi PCA mencari properti yang memungkinkan untuk merekonstruksi karakteristik asli sebaik mungkin.

Yang mengejutkan, ternyata kedua tujuan ini setara dan karenanya PCA dapat membunuh dua burung dengan satu batu.

Pasangan: Tapi sayang, kedua "tujuan" PCA ini terdengar sangat berbeda! Mengapa mereka setara?

Anda: Hmmm. Mungkin saya harus membuat gambar kecil (mengambil serbet dan mulai mencoret-coret) . Mari kita pilih dua karakteristik anggur, mungkin kegelapan anggur dan kandungan alkohol - Saya tidak tahu apakah mereka berkorelasi, tetapi mari kita bayangkan bahwa itu benar. Berikut ini sebutan plot sebaran anggur yang berbeda:

$x$$y$$w_1 x + w_2 y$$w_1$$w_2$

Sekarang lihat di sini dengan sangat hati-hati - di sini adalah bagaimana proyeksi ini terlihat untuk garis yang berbeda (titik-titik merah adalah proyeksi dari titik-titik biru):

Seperti yang saya katakan sebelumnya, PCA akan menemukan garis "terbaik" sesuai dengan dua kriteria berbeda tentang apa yang "terbaik". Pertama, variasi nilai di sepanjang garis ini harus maksimal. Perhatikan bagaimana "spread" (kami menyebutnya "varian") dari titik-titik merah berubah saat garis berputar; dapatkah Anda melihat kapan itu mencapai maksimum? Kedua, jika kita merekonstruksi dua karakteristik asli (posisi titik biru) dari yang baru (posisi titik merah), kesalahan rekonstruksi akan diberikan oleh panjang garis merah yang menghubungkan. Amati bagaimana panjang garis merah ini berubah saat garis berputar; dapatkah Anda melihat kapan panjang total mencapai minimum?

Jika Anda menatap animasi ini selama beberapa waktu, Anda akan melihat bahwa "varians maksimum" dan "kesalahan minimum" tercapai pada saat yang sama, yaitu ketika garis menunjuk ke kutu magenta yang saya tandai di kedua sisi awan anggur . Baris ini sesuai dengan properti anggur baru yang akan dibangun oleh PCA.

Omong-omong, PCA berarti "analisis komponen utama" dan properti baru ini disebut "komponen utama pertama". Dan alih-alih mengatakan "properti" atau "karakteristik" kita biasanya mengatakan "fitur" atau "variabel".

Anak perempuan: Bagus sekali, papa! Saya pikir saya dapat melihat mengapa kedua tujuan menghasilkan hasil yang sama: pada dasarnya karena teorema Pythagoras, bukan? Bagaimanapun, saya mendengar bahwa PCA entah bagaimana terkait dengan vektor eigen dan nilai eigen; di mana mereka pada gambar ini?

$90^\circ$, jumlah kedua kuantitas ini sama dengan jarak kuadrat rata-rata antara pusat awan anggur dan setiap titik biru; inilah teorema Pythagoras. Tentu saja jarak rata-rata ini tidak tergantung pada orientasi garis hitam, sehingga semakin tinggi varians semakin rendah kesalahan (karena jumlah mereka konstan). Argumen tangan-bergelombang ini dapat dibuat tepat ( lihat di sini ).

Ngomong-ngomong, Anda bisa membayangkan bahwa garis hitam adalah batang yang solid dan setiap garis merah adalah pegas. Energi pegas sebanding dengan panjang kuadratnya (ini dikenal dalam fisika sebagai hukum Hooke), sehingga batang akan mengorientasikan dirinya sendiri seperti untuk meminimalkan jumlah jarak kuadrat ini. Saya membuat simulasi bagaimana akan terlihat, di hadapan beberapa gesekan kental:

$2\times 2$

$(0.81, 0.58)$

Per permintaan populer, saya membagikan kode Matlab untuk menghasilkan animasi di atas .

Naskah "Sebuah tutorial tentang Analisis Komponen Utama" oleh Lindsay I Smith benar-benar membantu saya grok PCA. Saya pikir itu masih terlalu rumit untuk dijelaskan kepada nenek Anda, tetapi itu tidak buruk. Anda harus melewati beberapa bit pertama pada penghitungan eigen, dll. Lompat ke contoh di bab 3 dan lihat grafik.

Saya punya beberapa contoh di mana saya bekerja melalui beberapa contoh mainan sehingga saya bisa memahami regresi linier PCA vs OLS. Saya akan mencoba menggali dan mempostingnya juga.

sunting: Anda tidak benar-benar bertanya tentang perbedaan antara Ordinary Least Squares (OLS) dan PCA tetapi karena saya menggali catatan saya, saya membuat posting blog tentang hal itu . Versi yang sangat singkat adalah OLS dari y ~ x meminimalkan kesalahan tegak lurus terhadap sumbu independen seperti ini (garis kuning adalah contoh dari dua kesalahan):

Jika Anda mundur x ~ y (tidak seperti y ~ x pada contoh pertama) itu akan meminimalkan kesalahan seperti ini:

dan PCA secara efektif meminimalkan kesalahan orthogonal pada model itu sendiri, seperti:

Lebih penting lagi, seperti yang dikatakan orang lain, dalam situasi di mana Anda memiliki banyak variabel independen, PCA membantu Anda mengetahui kombinasi linear dari variabel-variabel ini yang paling penting. Contoh-contoh di atas hanya membantu memvisualisasikan seperti apa komponen utama pertama dalam kasus yang sangat sederhana.

Dalam posting blog saya, saya memiliki kode R untuk membuat grafik di atas dan untuk menghitung komponen utama pertama. Mungkin ada baiknya bermain dengan membangun intuisi Anda di sekitar PCA. Saya cenderung tidak benar - benar memiliki sesuatu sampai saya menulis kode yang mereproduksi itu. 

Mari kita lakukan (2) dulu. PCA cocok dengan ellipsoid untuk data. Ellipsoid adalah generalisasi multidimensi dari bentuk bola terdistorsi seperti cerutu, pancake, dan telur. Ini semua dijelaskan dengan rapi oleh arah dan panjang sumbu utama mereka (semi-), seperti sumbu cerutu atau telur atau bidang pancake. Tidak peduli bagaimana ellipsoid diputar, vektor eigen menunjuk ke arah utama tersebut dan nilai eigen memberi Anda panjangnya. Nilai eigen terkecil sesuai dengan arah tertipis yang memiliki variasi paling sedikit, sehingga mengabaikannya (yang membuatnya rata) kehilangan informasi yang relatif sedikit: itu PCA.

(1) Terlepas dari penyederhanaan (di atas), kita memiliki kebutuhan untuk deskripsi, visualisasi, dan wawasan yang penuh makna. Mampu mengurangi dimensi adalah hal yang baik : membuatnya lebih mudah untuk menggambarkan data dan, jika kita beruntung untuk menguranginya menjadi tiga atau kurang, mari kita menggambar. Kadang-kadang kita bahkan dapat menemukan cara yang berguna untuk menafsirkan kombinasi data yang diwakili oleh koordinat dalam gambar, yang dapat memberikan wawasan tentang perilaku bersama variabel.

$200$

Setiap cloud titik 3D yang "koheren" dalam arti tidak menunjukkan cluster atau sulur atau outlier akan terlihat seperti salah satunya. Awan titik 3D sama sekali - yang disediakan tidak semua titik merupakan kebetulan - dapat digambarkan oleh salah satu dari angka-angka ini sebagai titik awal keberangkatan untuk mengidentifikasi pengelompokan atau pola lebih lanjut.

Intuisi yang Anda kembangkan dari merenungkan konfigurasi seperti itu dapat diterapkan ke dimensi yang lebih tinggi, meskipun sulit atau tidak mungkin untuk memvisualisasikan dimensi tersebut.

Hmm, begini untuk mengambil sepenuhnya non-matematika pada PCA ...

Bayangkan Anda baru saja membuka toko sari buah apel. Anda memiliki 50 varietas sari buah apel dan Anda ingin mengetahui cara mengalokasikannya ke rak, sehingga sari yang serupa rasanya diletakkan di rak yang sama. Ada banyak rasa dan tekstur yang berbeda dalam sari - manis, getir, pahit, ragi, berbuah, jernih, aneh, dll. Jadi, apa yang perlu Anda lakukan untuk memasukkan botol ke dalam kategori adalah menjawab dua pertanyaan:

1) Kualitas apa yang paling penting untuk mengidentifikasi kelompok sari? misalnya, apakah mengelompokkan berdasarkan rasa manis memudahkan untuk mengelompokkan sari buah Anda ke dalam kelompok yang memiliki rasa yang sama dari pada mengklasifikasikan berdasarkan buah?

2) Bisakah kita mengurangi daftar variabel dengan menggabungkan beberapa variabel? misalnya apakah sebenarnya ada variabel yang merupakan kombinasi dari "ragi dan kejernihan dan kegembiraan" dan yang membuat skala yang sangat baik untuk mengklasifikasikan varietas?

Inilah yang pada dasarnya dilakukan PCA. Komponen utama adalah variabel yang berguna menjelaskan variasi dalam kumpulan data - dalam hal ini, yang bermanfaat membedakan antara kelompok. Setiap komponen utama adalah salah satu variabel penjelas asli Anda, atau kombinasi dari beberapa variabel penjelas asli Anda.

Saya akan menjawab dalam "istilah awam" dengan mengatakan bahwa PCA bertujuan untuk mencocokkan garis lurus ke titik data (semua orang tahu apa garis lurus itu). Kami menyebut garis lurus ini "komponen utama". Ada komponen utama sebanyak variabel. Komponen utama pertama adalah garis lurus terbaik yang dapat Anda masukkan ke data. Komponen utama kedua adalah garis lurus terbaik yang sesuai dengan kesalahan dari komponen utama pertama. Komponen utama ketiga adalah garis lurus terbaik yang sesuai dengan kesalahan dari komponen utama pertama dan kedua, dll., Dll.

Jika seseorang bertanya apa yang Anda maksud dengan "kesalahan terbaik" atau "kesalahan", maka ini memberitahu Anda bahwa mereka bukan "orang awam", jadi bisa masuk ke detail yang sedikit lebih teknis seperti kesalahan tegak lurus, tidak tahu di mana kesalahan tersebut berada arah x- atau y-, lebih dari 2 atau 3 dimensi, dll. Lebih jauh jika Anda menghindari membuat referensi untuk regresi OLS (yang "awam" mungkin tidak akan mengerti baik) penjelasannya lebih mudah.

Vektor-vektor eigen dan nilai-nilai eigen bukanlah konsep-konsep yang diperlukan semata, melainkan merupakan konsep-konsep matematika yang sudah ada. Ketika Anda memecahkan masalah matematika PCA, itu akhirnya setara dengan menemukan nilai eigen dan vektor eigen dari matriks kovarians.

Saya bisa memberikan penjelasan / bukti PCA saya sendiri, yang menurut saya sangat sederhana dan elegan, dan tidak memerlukan apa pun kecuali pengetahuan dasar aljabar linier. Itu keluar cukup panjang, karena saya ingin menulis dalam bahasa yang mudah diakses.

$M$$n$$n$

$\beta$$\beta$$\beta$$\sum_{i=1}^M \|x_i - \mu\|^2$$-\mu$$0$$x_i' = x_i - \mu$$\sum_{i=1}^M \|x_i'\|^2$

$x = \alpha v + w$$v,w$$\gamma$$v$$\gamma$$\gamma$$x = \alpha v$

Baiklah, sekarang anggaplah kita memiliki vektor $v$$\alpha v$$x_i'$$\alpha v$$\langle x_i, v\rangle/\|v\|_2$$v$$x_i'$$v$$\langle x_i', v\rangle$

$0$

$v$$v$$S_v$$S_o$$S_v$$S_o$$S_o = S_v = 0$

$0$

$X$$v$$v^T \cdot X \cdot v$$X$ .

$X$$e_1, e_2, \dots , e_n$$\lambda_1 , \dots, \lambda_n$$\lambda_1 \geq \lambda_2 , \geq \lambda_3 \dots$$\lambda$

$v^T \cdot X \cdot v$$e_i$

$\lambda_1$$e_1$$v$$v = \sum_{i=1}^n e_i \langle v, e_i \rangle$$\sum_{i=1}^n \langle v, e_i \rangle^2 = 1$$\beta_i = \langle v, e_i \rangle$

$v^T \cdot X \cdot v$$v$$e_i$

$v^T \cdot X \cdot v = \sum_{i=1}^n \lambda_i \beta_i^2$$\beta_i ^2$$1$

Itu berarti bahwa varian dari proyeksi adalah rata-rata tertimbang dari nilai eigen. Tentu saja, itu selalu kurang dari nilai eigen terbesar, itulah sebabnya itu harus menjadi pilihan kita dari vektor PCA pertama.

$\mathrm{lin}(e_2, e_3, \dots , e_n)$$e_2$

$\sum_{i=1}^k \lambda_i / \sum_{i=1}^n \lambda_i$

$k$$k$$v_1, \dots , v_k$

$e_i$$v_1, \dots , v_k$$u_1, \dots, u_{n-k}$$e_i = \sum_{j=1}^k \beta_{ij} v_j + \sum_{j=1}^{n-k} \theta_j \langle e_i, u_j \rangle$$\|e_i\|_2 = 1$$\sum_{j=1}^k \beta_{ij}^2 + \sum_{j=1}^{n-k} \theta_j^2 = 1$$\gamma_i \leq 1$$i$ .

$\sum_{i=1}^n \lambda_i \gamma_i$$\gamma_i \leq 1$$\sum_{i=1}^n \gamma_i = k$$\sum_{i=1}^k \lambda_i$$k$

Baiklah, saya akan coba ini. Beberapa bulan yang lalu saya menggali banyak literatur untuk menemukan penjelasan intuitif yang bisa saya jelaskan kepada non-ahli statistik. Saya menemukan derivasi yang menggunakan pengganda Lagrange yang paling intuitif.

Katakanlah kita memiliki data dimensi tinggi - katakanlah 30 pengukuran dilakukan pada seekor serangga. Bug memiliki genotipe yang berbeda dan fitur fisik yang sedikit berbeda di beberapa dimensi ini, tetapi dengan data berdimensi tinggi seperti itu, sulit untuk mengetahui serangga mana yang termasuk dalam kelompok mana.

PCA adalah teknik untuk mengurangi dimensi dengan:

1. Mengambil kombinasi linear dari variabel asli.
2. Setiap kombinasi linier menjelaskan perbedaan paling banyak dalam data yang dapat dihasilkannya.
3. Setiap kombinasi linier tidak berkorelasi dengan yang lain

Atau, dalam istilah matematika:

1. $Y_j = a_j' x$ (kombinasi linear untuk komponen jth)
2. $k > j$$V(Y_k) < V(Y_j)$
3. $a_k' a_j = 0$

Menemukan kombinasi linier yang memenuhi batasan-batasan ini membawa kita pada nilai eigen. Mengapa?

Saya merekomendasikan untuk membaca buku Pengantar Analisis Data Multivariat untuk derivasi penuh (hal. 50), tetapi ide dasarnya adalah masalah optimisasi yang berurutan (memaksimalkan varian) yang dibatasi sehingga a'a = 1 untuk koefisien a (untuk mencegah kasus) ketika varians dapat menjadi tak terbatas) dan dibatasi untuk memastikan koefisiennya ortogonal.

Ini mengarah ke pengoptimalan dengan pengali Lagrange, yang pada gilirannya mengungkapkan mengapa nilai eigen digunakan. Saya terlalu malas untuk mengetiknya (maaf!) ​​Tapi, ini PDF cukup baik untuk membuktikan dari titik ini.

Saya tidak akan pernah mencoba menjelaskan hal ini kepada nenek saya, tetapi jika saya harus berbicara secara umum tentang teknik pengurangan dimensi, saya akan menunjukkan contoh proyeksi sepele ini (bukan PCA). Misalkan Anda memiliki ponsel Calder yang sangat kompleks. Beberapa titik dalam ruang 3-d saling berdekatan, yang lain tidak. Jika kita menggantung ponsel ini dari langit-langit dan menyinarinya dari satu sudut, kita mendapatkan proyeksi ke bidang dimensi yang lebih rendah (dinding 2-d). Sekarang, jika ponsel ini terutama lebar di satu arah, tetapi kurus di arah lain, kita bisa memutarnya untuk mendapatkan proyeksi yang berbeda kegunaannya. Secara intuitif, bentuk kurus dalam satu dimensi yang diproyeksikan di dinding kurang berguna - semua bayangan tumpang tindih dan tidak memberi kita banyak informasi. Namun, jika kita memutarnya sehingga cahaya bersinar di sisi lebar, kami mendapatkan gambar yang lebih baik dari data dimensi yang diperkecil - titik lebih tersebar. Ini yang sering kita inginkan. Saya pikir nenek saya bisa mengerti bahwa :-)

Mencoba menjadi non-teknis ... Bayangkan Anda memiliki data multivarian, awan titik multidimensi. Ketika Anda menghitung matriks kovarians yang sebenarnya Anda (a) pusatkan awan, yaitu menempatkan asalnya sebagai rata-rata multidimensi, sumbu sistem koordinat sekarang melintas di tengah awan, (b) mengenkripsi informasi tentang bentuk awan. dan bagaimana ia diorientasikan dalam ruang melalui entri varians-kovarians. Jadi, sebagian besar info penting tentang bentuk data secara keseluruhan disimpan dalam matriks kovarians.

Kemudian Anda melakukan eigen-dekomposisi martrix itu dan mendapatkan daftar nilai eigen dan jumlah vektor eigen yang sesuai. Sekarang, komponen utama ke-1 adalah variabel laten baru yang dapat ditampilkan sebagai sumbu yang melewati titik asal dan berorientasi sepanjang arah varians maksimal (ketebalan) awan. Varian sepanjang sumbu ini, yaitu varian dari koordinat semua titik di atasnya, adalahnilai eigen pertama, dan orientasi sumbu dalam ruang yang dirujuk ke sumbu asli (variabel) ditentukan oleh vektor eigen pertama: entri-entrinya adalah cosinus antara sumbu tersebut dan sumbu asli tersebut. Koordinat titik data yang disebutkan di atas pada komponen 1 adalah nilai komponen utama 1, atau skor komponen; mereka dihitung sebagai produk dari matriks data (terpusat) dan vektor eigen.

"Setelah" pr 1. komponen yang diukur adalah, untuk mengatakan, "dihapus" dari awan dengan semua varians yang diperhitungkan, dan dimensi awan turun satu. Selanjutnya, semuanya diulang dengan nilai eigen kedua dan vektor eigen kedua - pr ke-2. komponen sedang direkam, dan kemudian "dihapus". Dll

Jadi, sekali lagi: vektor eigen adalah arah cosinus untuk komponen-komponen utama, sedangkan nilai-nilai eigen adalah besarnya (varians) dalam komponen-komponen utama. Jumlah semua nilai eigen sama dengan jumlah varian yang ada pada diagonal matriks varians-kovarians. Jika Anda mentransfer informasi "magnitudinal" yang disimpan dalam nilai eigen ke vektor eigen untuk menambahkannya ke informasi "orientasi" yang tersimpan di sini Anda mendapatkan apa yang disebut pemuatan komponen utama ; pemuatan ini - karena membawa kedua jenis informasi - adalah kovariansi antara variabel asli dan komponen utama.

Kemudian PS Saya ingin menekankan dua kali di sini perbedaan terminologis antara vektor eigen dan beban . Banyak orang dan beberapa paket (termasuk beberapa R) dengan sembrono menggunakan kedua istilah tersebut secara bergantian. Ini adalah praktik yang buruk karena objek dan artinya berbeda. Vektor eigen adalah arah cosinus, sudut "rotasi" ortogonal yang menjadi nilai PCA. Loading adalah vektor eigen yang diinokulasi dengan informasi tentang variabilitas atau besarnya data yang diputar. Pembebanan adalah koefisien hubungan antara komponen dan variabel dan mereka langsung sebanding dengan koefisien asosiasi yang dihitung antara variabel - kovariansi, korelasi atau produk skalar lainnya$^1$). Vektor eigen adalah koefisien untuk memprediksi variabel dengan skor komponen mentah. Memuat adalah koefisien untuk memprediksi variabel dengan skor komponen yang diskalakan (dinormalisasi) (tidak heran: memuat memiliki informasi awal tentang variabilitas, akibatnya, komponen yang digunakan harus dicabut darinya). Satu lagi alasan untuk tidak mencampur vektor eigen dan pembebanan adalah bahwa beberapa teknik pengurangan dimensi lain selain PCA - seperti beberapa bentuk analisis Faktor - menghitung pembebanan secara langsung, melewati vektor eigen. Vektor eigen adalah produk dekomposisi eigen atau dekomposisi nilai singular; beberapa bentuk analisis faktor tidak menggunakan dekomposisi ini dan tiba di loading sebaliknya. Akhirnya, ini adalah pemuatan, bukan vektor eigen, yang dengannya Anda menafsirkan komponen atau faktor (jika Anda perlu menafsirkannya). Memuat adalah tentang kontribusi komponen ke dalam variabel: di PCA (atau analisis faktor) komponen / faktor memuat dirinya ke dalam variabel, bukan sebaliknya. Dalam hasil PCA komprehensif seseorang harus melaporkan vektor eigen dan memuat, seperti yang ditunjukkan misalnyadi sini atau di sini .

Lihat juga tentang memuat vs vektor eigen.

$^1$

OK, jawaban yang sepenuhnya non-matematika:

Jika Anda memiliki banyak variabel pada banyak subjek dan Anda ingin menguranginya ke sejumlah kecil variabel pada subjek yang sama, sambil kehilangan informasi sesedikit mungkin, maka PCA adalah salah satu alat untuk melakukan ini.

Ini berbeda dari analisis faktor, meskipun mereka sering memberikan hasil yang serupa, dalam hal FA mencoba untuk memulihkan sejumlah kecil variabel laten dari sejumlah besar variabel yang diamati yang diyakini terkait dengan variabel laten.

Matematika paling mudah dilakukan dalam 2-D.

Setiap matriks berhubungan dengan transformasi linear. Transformasi linier dapat divisualisasikan dengan mengambil sosok yang mudah diingat di pesawat dan melihat bagaimana sosok itu terdistorsi oleh transformasi linear:

(foto: Flanigan & Kazdan )

• $\tt{shear}$
• $\times 1$
• 
  $\langle 1 \rangle = 23\% \cdot [1] + 46\% \cdot [2] + 39\% \cdot [3]$

$f(a\cdot x+b\cdot y)=a\cdot f(x)+b \cdot f(y)$$+$$\cdot$ diberi arti baru, atau jika $a$ dan $b$ berasal dari bidang yang menarik, atau $x$ dan $y$dari ruang yang menarik. Sebagai contoh :

PCA sendiri adalah contoh lain, yang paling akrab bagi ahli statistik. Beberapa jawaban lain seperti Freya memberikan aplikasi PCA dunia nyata .

Setelah posting yang sangat baik oleh JD Long di utas ini, saya mencari contoh sederhana, dan kode R diperlukan untuk menghasilkan PCA dan kemudian kembali ke data asli. Itu memberi saya beberapa intuisi geometri tangan pertama, dan saya ingin berbagi apa yang saya dapatkan. Dataset dan kode dapat secara langsung disalin dan ditempelkan ke R form Github .

Saya menggunakan kumpulan data yang saya temukan online pada semikonduktor di sini , dan saya memangkasnya menjadi hanya dua dimensi - "nomor atom" dan "titik lebur" - untuk memfasilitasi perencanaan.

Sebagai peringatan, idenya murni menggambarkan proses komputasi: PCA digunakan untuk mengurangi lebih dari dua variabel menjadi beberapa komponen utama turunan, atau untuk mengidentifikasi collinearity juga dalam kasus beberapa fitur. Jadi itu tidak akan menemukan banyak aplikasi dalam kasus dua variabel, juga tidak akan ada kebutuhan untuk menghitung vektor eigen dari matriks korelasi seperti yang ditunjukkan oleh @amoeba.

Selanjutnya, saya memotong pengamatan dari 44 menjadi 15 untuk memudahkan tugas melacak setiap poin. Hasil akhirnya adalah kerangka data kerangka ( dat1):

compounds   atomic.no      melting.point
AIN         10             498.0
AIP         14             625.0
AIAs        23             1011.5
...         ...            ... 

Kolom "senyawa" menunjukkan konstitusi kimia semikonduktor, dan memainkan peran nama baris.

Ini dapat direproduksi sebagai berikut (siap untuk menyalin dan menempel pada konsol R):

dat              <- read.csv(url("http://rinterested.github.io/datasets/semiconductors"))
colnames(dat)[2] <- "atomic.no"
dat1             <- subset(dat[1:15,1:3])
row.names(dat1)  <- dat1$compounds
dat1             <- dat1[,-1]

Data kemudian diskalakan:

X <- apply(dat1, 2, function(x) (x - mean(x)) / sd(x))
# This centers data points around the mean and standardizes by dividing by SD.
# It is the equivalent to `X <- scale(dat1, center = T, scale = T)`  

Langkah-langkah aljabar linier mengikuti:

C <- cov(X)                                           # Covariance matrix (centered data)

$\begin{bmatrix} &\text{at_no}&\text{melt_p}\\ \text{at_no}&1&0.296\\ \text{melt_p}&0.296&1 \end{bmatrix}$

Fungsi korelasi cor(dat1)memberikan output yang sama pada data non-skala dengan fungsi cov(X)pada data yang diskalakan.

lambda        <- eigen(C)$values                      # Eigenvalues
lambda_matrix <- diag(2)*eigen(C)$values              # Eigenvalues matrix

$\begin{bmatrix} &\color{purple}{\lambda_{\text{PC1}}}&\color{orange}{\lambda_{\text{PC2}}}\\ &1.296422& 0\\ &0&0.7035783 \end{bmatrix}$

e_vectors     <- eigen(C)$vectors                     # Eigenvectors

$\frac{1}{\sqrt{2}}\begin{bmatrix} &\color{purple}{\text{PC1}}&\color{orange}{\text{PC2}}\\ &1&\,\,\,\,\,1\\ &1&-1 \end{bmatrix}$

Karena vektor eigen pertama awalnya kembali sebagai $\sim \small [-0.7,-0.7]$ kami memilih untuk mengubahnya $\small [0.7, 0.7]$ untuk membuatnya konsisten dengan formula bawaan melalui:

e_vectors[,1] = - e_vectors[,1]; colnames(e_vectors) <- c("PC1","PC2")

Nilai eigen yang dihasilkan adalah $\small 1.2964217$ dan $\small 0.7035783$. Dalam kondisi yang kurang minimalis, hasil ini akan membantu memutuskan vektor eigen mana yang akan dimasukkan (nilai eigen terbesar). Misalnya, kontribusi relatif dari nilai eigen pertama adalah$\small 64.8\%$: eigen(C)$values[1]/sum(eigen(C)$values) * 100, artinya akun itu$\sim\small 65\%$dari variabilitas dalam data. Variabilitas dalam arah vektor eigen kedua adalah$35.2\%$. Ini biasanya ditunjukkan pada plot scree yang menggambarkan nilai nilai eigen:

Kami akan menyertakan kedua vektor eigen mengingat ukuran kecil dari kumpulan data mainan ini, memahami bahwa mengecualikan salah satu vektor eigen akan menghasilkan pengurangan dimensi - ide di balik PCA.

The matriks skor ditentukan sebagai perkalian matriks dari data yang skala ( X) dengan matriks vektor eigen (atau "rotasi") :

score_matrix <-  X %*% e_vectors    
# Identical to the often found operation: t(t(e_vectors) %*% t(X))

Konsep ini memerlukan kombinasi linier dari setiap entri (baris / subjek / pengamatan / superkonduktor dalam kasus ini) dari data terpusat (dan dalam kasus ini diskalakan) ditimbang oleh baris masing-masing vektor eigen , sehingga di setiap kolom akhir dari skor matrix, kita akan menemukan kontribusi dari setiap variabel (kolom) dari data (keseluruhan X), TAPI hanya vektor eigen yang sesuai yang akan mengambil bagian dalam perhitungan (yaitu vektor eigen pertama$[0.7, 0.7]^{T}$ akan berkontribusi $\text{PC}\,1$ (Komponen Utama 1) dan $[0.7, -0.7]^{T}$ untuk $\text{PC}\,2$, seperti dalam:

Oleh karena itu setiap vektor eigen akan mempengaruhi masing-masing variabel secara berbeda, dan ini akan tercermin dalam "pemuatan" PCA. Dalam kasus kami, tanda negatif pada komponen kedua vektor eigen kedua$[0.7, - 0.7]$ akan mengubah tanda nilai titik lebur dalam kombinasi linear yang menghasilkan PC2, sedangkan efek vektor eigen pertama akan secara konsisten positif:

Vektor eigen diskalakan ke $1$:

> apply(e_vectors, 2, function(x) sum(x^2))
PC1 PC2 
  1   1 

sedangkan ( memuat ) adalah vektor eigen yang diskalakan oleh nilai eigen (meskipun ada terminologi yang membingungkan dalam fungsi R built-in yang ditampilkan di bawah). Akibatnya, beban dapat dihitung sebagai:

> e_vectors          %*% lambda_matrix
          [,1]      [,2]
[1,] 0.9167086  0.497505
[2,] 0.9167086 -0.497505

> prcomp(X)$rotation %*% diag(princomp(covmat = C)$sd^2)
                   [,1]      [,2]
atomic.no     0.9167086  0.497505
melting.point 0.9167086 -0.497505

Sangat menarik untuk dicatat bahwa cloud data yang diputar (plot skor) akan memiliki varian di sepanjang setiap komponen (PC) yang sama dengan nilai eigen:

> apply(score_matrix, 2, function(x) var(x))
       PC1        PC2 
53829.7896   110.8414 
> lambda
[1] 53829.7896   110.8414

Memanfaatkan fungsi bawaan, hasilnya dapat direplikasi:

# For the SCORE MATRIX:
  prcomp(X)$x
# or...
  princomp(X)$scores # The signs of the PC 1 column will be reversed.

# and for EIGENVECTOR MATRIX:
  prcomp(X)$rotation
# or...
  princomp(X)$loadings

# and for EIGENVALUES:
  prcomp(X)$sdev^2
# or...
  princomp(covmat = C)$sd^2

Atau, dekomposisi nilai singular ($\text{U}\Sigma \text{V}^\text{T}$) metode dapat diterapkan untuk menghitung PCA secara manual; sebenarnya, ini adalah metode yang digunakan di prcomp(). Langkah-langkahnya bisa dijabarkan sebagai:

svd_scaled_dat <-svd(scale(dat1))
eigen_vectors <- svd_scaled_dat$v
eigen_values <- (svd_scaled_dat$d/sqrt(nrow(dat1) - 1))^2
scores<-scale(dat1) %*% eigen_vectors

Hasilnya ditunjukkan di bawah ini, dengan pertama, jarak dari masing-masing titik ke vektor eigen pertama, dan pada plot kedua, jarak ortogonal ke vektor eigen kedua:

Jika sebaliknya kita merencanakan nilai matriks skor (PC1 dan PC2) - tidak lagi "melting.point" dan "atomic.no", tetapi benar-benar perubahan basis titik yang dikoordinasikan dengan vektor eigen sebagai basis, jarak ini akan menjadi diawetkan, tetapi secara alami akan menjadi tegak lurus terhadap sumbu xy:

Caranya sekarang adalah memulihkan data asli . Poin telah ditransformasikan melalui perkalian matriks sederhana dengan vektor eigen. Sekarang data diputar kembali dengan mengalikannya dengan kebalikan dari matriks vektor eigen dengan perubahan ditandai yang dihasilkan di lokasi titik data. Misalnya, perhatikan perubahan titik merah muda "GaN" di kuadran kiri atas (lingkaran hitam di plot kiri, di bawah), kembali ke posisi awalnya di kuadran kiri bawah (lingkaran hitam di plot kanan, di bawah).

Sekarang kami akhirnya mengembalikan data asli ke dalam matriks "de-rotated" ini:

Di luar perubahan koordinat rotasi data dalam PCA, hasilnya harus ditafsirkan, dan proses ini cenderung melibatkan biplot , di mana titik-titik data diplot sehubungan dengan koordinat vektor eigen baru, dan variabel asli sekarang ditumpangkan sebagai vektor. Sangat menarik untuk mencatat kesetaraan dalam posisi titik antara plot di baris kedua dari grafik rotasi di atas ("Skor dengan sumbu xy = vektor Eigen") (di sebelah kiri di plot yang mengikuti), dan biplot(ke Baik):

Superimposisi variabel asli sebagai panah merah menawarkan jalur untuk interpretasi PC1sebagai vektor dalam arah (atau dengan korelasi positif) dengan keduanya atomic nodan melting point; dan PC2sebagai komponen sepanjang peningkatan nilai atomic notetapi berkorelasi negatif dengan melting point , konsisten dengan nilai-nilai vektor eigen:

PCA$rotation
                    PC1        PC2
atomic.no     0.7071068  0.7071068
melting.point 0.7071068 -0.7071068

Tutorial interaktif oleh Victor Powell ini memberikan umpan balik segera mengenai perubahan vektor eigen saat awan data diubah.

Dari seseorang yang telah banyak menggunakan PCA (dan mencoba menjelaskannya kepada beberapa orang juga) inilah contoh dari bidang ilmu saraf saya sendiri.

Ketika kami merekam dari kulit kepala seseorang, kami melakukannya dengan 64 elektroda. Jadi, sebenarnya kita memiliki 64 angka dalam daftar yang mewakili tegangan yang dilepaskan oleh kulit kepala. Sekarang karena kita merekam dengan presisi mikrodetik, jika kita memiliki eksperimen 1 jam (seringkali 4 jam) maka itu memberi kita 1e6 * 60 ^ 2 == 3.600.000.000 titik waktu di mana tegangan dicatat pada masing-masing elektroda sehingga sekarang kita memiliki matriks 3.600.000.000 x 64. Karena asumsi utama PCA adalah bahwa variabel Anda berkorelasi, itu adalah teknik yang bagus untuk mengurangi jumlah data yang konyol ini menjadi jumlah yang dapat ditelusuri. Seperti telah dikatakan beberapa kali, nilai eigen mewakili jumlah varians yang dijelaskan oleh variabel (kolom). Dalam hal ini nilai eigen mewakili varians dalam tegangan pada titik waktu tertentu yang dikontribusikan oleh elektroda tertentu. Jadi sekarang kita dapat mengatakan, "Oh, elektrodaxpada titik waktu yadalah apa yang harus kita fokuskan untuk analisis lebih lanjut karena di situlah perubahan paling terjadi ". Semoga ini bisa membantu. Mencintai plot regresi itu!

Saya mungkin menjadi orang jahat untuk menjawab ini karena saya adalah nenek moyang yang telah menjelaskan konsep itu kepada saya dan tidak lebih, tetapi begini:

Misalkan Anda memiliki populasi. Sebagian besar penduduk mati karena serangan jantung. Anda mencoba mencari tahu apa yang menyebabkan serangan jantung.

Anda memiliki dua bagian data: tinggi dan berat.

Sekarang, jelas bahwa ada BEBERAPA hubungan antara berat dan serangan jantung, tetapi korelasinya tidak terlalu kuat. Ada beberapa orang berat yang mengalami banyak serangan jantung, tetapi beberapa tidak.

Sekarang, Anda melakukan PCA, dan ia memberi tahu Anda bahwa berat dibagi dengan tinggi badan ('massa tubuh') adalah kemungkinan yang jauh lebih besar untuk memprediksi serangan jantung daripada berat atau tinggi badan, karena, lihatlah, "kenyataan" adalah bahwa massa tubuh yang menyebabkan serangan jantung.

Pada dasarnya, Anda melakukan PCA karena Anda mengukur banyak hal dan Anda tidak benar-benar tahu apakah itu benar-benar komponen utama atau jika ada beberapa komponen mendasar yang lebih dalam yang tidak Anda ukur.

[Silakan mengedit ini jika benar-benar tidak sesuai. Saya benar-benar tidak memahami konsep ini lebih dalam dari ini].

Ini satu untuk Nenek:

Di kota kami ada jalan-jalan ke utara dan selatan, beberapa pergi ke timur dan barat, dan bahkan beberapa ke barat laut dan tenggara, beberapa NE ke SW. Suatu hari seorang pria mengukur semua lalu lintas di semua jalan, ia menemukan bahwa sebagian besar lalu lintas berjalan secara diagonal, dari barat laut ke tenggara, yang terbesar kedua adalah tegak lurus dengan ini menuju timur laut ke barat daya dan sisanya sisanya cukup kecil. Jadi dia menggambar sebuah kotak besar dan menempatkan garis besar ke kiri dan mengatakan itu adalah NW ke SE, kemudian menggambar garis lain secara vertikal naik dan turun melalui tengah. Dia mengatakan itu adalah arah lalu lintas paling ramai kedua (NE ke SW). Sisanya kecil sehingga bisa diabaikan.

Garis kanan kiri adalah vektor eigen pertama dan garis bawah adalah vektor eigen kedua. Jumlah total mobil ke kiri dan kanan adalah nilai eigen pertama dan yang naik dan turun adalah nilai eigen kedua.

Jawaban ini memberikan interpretasi intuitif dan bukan matematis:

PCA akan memberi Anda satu set vektor ortogonal dalam awan titik dimensi tinggi. Urutan vektor ditentukan oleh informasi yang disampaikan setelah memproyeksikan semua titik ke vektor.

Dengan kata lain: Vektor komponen utama pertama akan memberi tahu Anda paling banyak tentang titik cloud setelah memproyeksikan semua titik ke vektor. Tentu saja ini adalah interpretasi yang intuitif.

Lihatlah ellipsoid ini (ikuti tautan untuk model 3D) :

Jika Anda harus memilih satu vektor yang membentuk sub-ruang satu dimensi di mana titik-titik titik ellipsoid akan diproyeksikan. Yang mana yang akan Anda pilih karena menyampaikan informasi paling banyak tentang set asli dalam 3 dimensi?

Saya kira yang merah di sepanjang sumbu terpanjang. Dan ini sebenarnya komponen utama yang dihitung 1! Yang berikutnya - saya akan memilih yang biru sepanjang sumbu terpanjang berikutnya.

Biasanya Anda ingin memproyeksikan sekumpulan titik dari ruang dimensi tinggi ke bidang dua dimensi atau ke ruang tiga dimensi .

http://www.joyofdata.de/blog/illustration-of-principal-component-analysis-pca/

Meskipun ada banyak contoh yang diberikan untuk memberikan pemahaman intuitif tentang PCA, fakta itu hampir dapat membuatnya lebih sulit untuk dipahami pada awalnya, setidaknya bagi saya.

"Apa satu hal tentang PCA yang dimiliki oleh semua contoh berbeda dari disiplin ilmu yang berbeda ??"

Apa yang membantu saya secara intuitif memahami adalah beberapa persamaan matematika, karena jelas matematika adalah bagian yang mudah bagi Anda, meskipun ini tidak membantu menjelaskannya kepada nenek Anda ...

Pikirkan masalah regularisasi, coba dapatkan

Atau dalam bahasa Inggris, uraikan data Anda $Y$menjadi dua matriks lain yang entah bagaimana akan menjelaskan data? Jika dua matriks tersebut bekerja dengan baik, maka kesalahan antara mereka dan$Y$ tidak boleh terlalu banyak.

PCA memberi Anda faktorisasi yang bermanfaat $Y$, untuk semua alasan yang dikatakan orang lain. Ini memecah matriks data yang Anda miliki,$Y$, turun menjadi dua matriks bermanfaat lainnya. Pada kasus ini,$X$ akan menjadi matriks tempat kolom pertama $k$ PC yang Anda simpan, dan $B$ adalah matriks yang memberi Anda resep untuk merekonstruksi kolom matriks $Y$ menggunakan kolom $X$. $B$ adalah yang pertama $k$ barisan $S$, dan semuanya $V$mengubah urutan. Nilai eigen di diagonal dari$S$pada dasarnya, bobot PC mana yang paling penting. Begitulah cara matematika secara eksplisit memberi tahu Anda PC mana yang paling penting: masing-masing dibobot oleh nilai eigennya. Lalu, matriks$V^\mathrm{T}$ memberitahu PC bagaimana cara menggabungkan.

Saya pikir orang memberikan banyak contoh intuitif, jadi saya hanya ingin membagikannya. Melihat itu membantu saya memahami cara kerjanya. Ada dunia algoritma dan metode menarik yang melakukan hal serupa dengan PCA. Pengkodean jarang adalah subbidang pembelajaran mesin yang semuanya tentang matriks anjak piutang$A$ menjadi dua yang bermanfaat dan menarik yang mencerminkan pola dalam $A$.

Ini jawaban matematika: komponen utama pertama adalah dimensi data terpanjang. Lihatlah dan tanyakan: di mana data terluas? Itu komponen pertama. Komponen selanjutnya adalah tegak lurus. Jadi cerutu data memiliki panjang dan lebar. Masuk akal untuk apa pun yang agak lonjong.

Cara saya memahami komponen utama adalah ini: Data dengan berbagai variabel (tinggi, berat, usia, suhu, panjang gelombang, persentase kelangsungan hidup, dll) dapat disajikan dalam tiga dimensi untuk plot keterkaitan.

Sekarang jika Anda ingin memahami "data 3D", Anda mungkin ingin mengetahui bidang 2D mana (lintas-bagian) dari data 3D ini yang berisi informasi terbanyak untuk serangkaian variabel tertentu. Pesawat 2D ini adalah komponen utama, yang berisi proporsi setiap variabel.

Pikirkan komponen utama sebagai variabel itu sendiri, dengan karakteristik komposit dari variabel asli (variabel baru ini dapat digambarkan sebagai bagian berat, tinggi bagian, usia bagian, dll). Ketika Anda memplot satu komponen utama (X) terhadap yang lain (Y), yang Anda lakukan adalah membangun peta 2D yang dapat secara geometris menggambarkan korelasi antara variabel asli. Sekarang bagian yang berguna: karena setiap subjek (pengamatan) yang dibandingkan dikaitkan dengan nilai-nilai untuk setiap variabel, subyek (pengamatan) juga ditemukan di suatu tempat di peta XY ini. Lokasi mereka didasarkan pada kontribusi relatif dari masing-masing variabel mendasar (yaitu satu pengamatan mungkin sangat dipengaruhi oleh usia dan suhu, sedangkan yang lain mungkin lebih dipengaruhi oleh tinggi dan berat badan).

Saya akan memberikan respons non-matematika dan pandangan burung-mata yang lebih rinci tentang motivasi-melalui-matematika di bagian kedua.

Non-Mathy:

Penjelasan non-matematika adalah bahwa PCA membantu untuk data dimensi tinggi dengan membiarkan Anda melihat ke arah mana data Anda memiliki varian yang paling banyak. Arahan ini adalah komponen utama . Setelah Anda memiliki informasi ini, Anda kemudian dapat, dalam beberapa kasus, memutuskan untuk menggunakan komponen utama sebagai variabel yang bermakna itu sendiri, dan sangat mengurangi dimensi data Anda dengan hanya menjaga komponen utama dengan varian yang paling banyak ( kekuatan penjelas) ).

Sebagai contoh, misalkan Anda memberikan kuesioner jajak pendapat politik dengan 30 pertanyaan, masing-masing dapat diberikan respons 1 ( sangat tidak setuju ) hingga 5 ( sangat setuju ). Anda mendapatkan banyak tanggapan dan sekarang Anda memiliki data 30 dimensi dan Anda tidak dapat membuat kepala atau ekor dari itu. Kemudian dengan putus asa Anda berpikir untuk menjalankan PCA dan menemukan 90% varians Anda berasal dari satu arah, dan arah itu tidak sesuai dengan salah satu sumbu Anda. Setelah pemeriksaan lebih lanjut dari data Anda kemudian menyimpulkan bahwa sumbu hibrida baru ini sesuai dengan spektrum kiri-kanan politik yaitu spektrum demokrat / republik, dan melanjutkan untuk melihat aspek yang lebih halus dalam data.

Mathy:

Terkadang membantu untuk memperkecil dan melihat motivasi matematika untuk menjelaskan makna.

Ada keluarga matriks khusus yang dapat diubah menjadi matriks diagonal hanya dengan mengubah sumbu koordinat Anda. Tentu saja, mereka disebut matriks yang dapat didiagonalisasi dan cukup elegan, sumbu koordinat baru yang diperlukan untuk melakukan ini memang vektor eigen.

Ternyata matriks kovariansnya simetris dan akan selalu dapat didiagonalisasi ! Dalam hal ini vektor eigen disebut komponen utama dan ketika Anda menuliskan matriks kovarians dalam koordinat vektor eigen, entri diagonal (satu-satunya yang tersisa) sesuai dengan varians dalam arah vektor eigen Anda. Ini memungkinkan kita untuk mengetahui arah mana yang memiliki varian paling banyak. Selain itu karena matriks kovarians diagonal dalam koordinat ini, Anda telah dengan cerdik menghilangkan semua korelasi antara variabel Anda.

Seperti yang biasa dalam aplikasi praktis, kami mengasumsikan bahwa variabel kami terdistribusi normal dan sangat wajar untuk mencoba dan mengubah koordinat kami untuk melihat gambar paling sederhana. Dengan mengetahui komponen utama Anda dan nilai eigen masing-masing (varians) Anda akan dapat mengurangi dimensi data Anda jika diperlukan dan juga memiliki ringkasan umum cepat di mana variasi dalam data Anda berada.

Tetapi pada akhir hari, akar dari semua keinginan ini berasal dari fakta bahwa matriks diagonal yang cara mudah untuk menangani dibandingkan dengan rancu mereka, sepupu yang lebih umum.

Saya melihat PCA sebagai alat geometris. Jika Anda diberi banyak poin dalam 3-ruang yang hampir semuanya pada garis lurus, dan Anda ingin mengetahui persamaan garis itu, Anda mendapatkannya melalui PCA (ambil komponen pertama). Jika Anda memiliki banyak titik dalam 3-ruang yang sebagian besar planar, dan ingin menemukan persamaan bidang itu, lakukan melalui PCA (ambil vektor komponen yang paling tidak signifikan dan yang seharusnya normal pada bidang).

Mengapa begitu nilai eigen / vektor eigen?

Saat melakukan PCA, Anda ingin menghitung beberapa basis ortogonal dengan memaksimalkan varians yang diproyeksikan pada setiap vektor basis.

Setelah menghitung vektor basis sebelumnya, Anda ingin yang berikutnya adalah:

• ortogonal dengan sebelumnya
• norma 1
• memaksimalkan varians yang diproyeksikan, yaitu dengan norma kovarians maksimal

Ini adalah masalah optimisasi terbatas, dan pengganda Lagrange (ini untuk intuisi geometris, lihat halaman wikipedia) memberi tahu Anda bahwa gradien tujuan (varian yang diproyeksikan) dan kendala (norma unit) harus "paralel" pada optimium.

Ini sama dengan mengatakan bahwa vektor basis berikutnya harus menjadi vektor eigen dari matriks kovarians. Pilihan terbaik di setiap langkah adalah memilih yang memiliki nilai eigen terbesar di antara yang lainnya.

Pada dasarnya PCA menemukan variabel baru yang merupakan kombinasi linear dari variabel asli sehingga dalam ruang baru, data memiliki dimensi yang lebih sedikit. Pikirkan kumpulan data yang terdiri dari titik-titik dalam 3 dimensi pada permukaan pelat datar yang ditegangkan pada sudut tertentu. Dalam sumbu x, y, z asli Anda memerlukan 3 dimensi untuk mewakili data, tetapi dengan transformasi linear yang tepat, Anda hanya perlu 2.

Pada dasarnya apa yang dikatakan @ Joel, tetapi hanya kombinasi linear dari variabel input.

Beberapa waktu lalu saya mencoba memahami algoritma PCA ini dan saya ingin membuat catatan tentang vektor eigen dan nilai eigen. Dokumen itu menyatakan bahwa tujuan EVs adalah untuk mengubah model dari model berukuran besar ke model berukuran sangat kecil.

Sebagai contoh, alih-alih membangun jembatan ukuran penuh terlebih dahulu dan kemudian melakukan percobaan dan tes di atasnya, dimungkinkan untuk menggunakan EV untuk membuat jembatan berukuran sangat kecil di mana semua faktor / jumlah akan dikurangi dengan margin yang sama dan terlebih lagi hasil aktual dari tes dan tes terkait stres yang dilakukan dapat dihitung dan diperbesar sesuai kebutuhan untuk model asli. Dengan cara EV membantu menciptakan abstrak dari aslinya .

Bagi saya, penjelasan ini memiliki makna mendalam terhadap apa yang saya coba lakukan! Semoga ini membantu Anda juga!

Bayangkan nenek baru saja mengambil foto dan film pertamanya di kamera digital yang Anda berikan untuk Natal, sayangnya dia menjatuhkan tangan kanannya ketika dia menekan tombol untuk foto, dan dia sedikit bergetar selama film juga. Dia memperhatikan bahwa orang-orang, pohon, pagar, bangunan, pintu, perabot, dll. Tidak lurus ke atas dan ke bawah, tidak vertikal, dan bahwa lantai, tanah, laut, cakrawala tidak horizontal dengan baik, dan film-filmnya juga agak goyah. Dia bertanya apakah Anda dapat membantunya memperbaikinya, semua 3000 foto liburan dan sekitar 100 video di rumah dan pantai (dia orang Australia), membuka hadiah, berjalan-jalan di pedesaan. Dia punya perangkat lunak foto yang memungkinkan Anda melakukan itu, katanya. Anda mengatakan kepadanya bahwa itu akan memakan waktu berhari-hari, dan bagaimanapun juga tidak akan berfungsi pada video, tetapi Anda tahu teknik yang disebut PCA dan ICA yang mungkin membantu. Anda menjelaskan bahwa penelitian Anda sebenarnya hanya melibatkan rotasi data ke dimensi alami, bahwa teknik ini menemukan arah paling penting dalam data, foto dalam kasus ini, dan memutar sehingga yang paling penting adalah horisontal, yang kedua adalah vertikal (dan bahkan dapat berlangsung untuk dimensi lebih banyak kita tidak dapat membayangkan dengan baik, walaupun waktu juga merupakan dimensi dalam film).

-

Selain Teknis. Bahkan, Anda mungkin bisa mendapatkan PhD Anda melakukan ini untuknya, dan ada makalah penting oleh Bell dan Sejnowski (1997) tentang komponen independen gambar yang sesuai dengan tepi. Untuk mengaitkan ini dengan PCA: ICA menggunakan PCA atau SVD sebagai langkah pertama untuk mengurangi dimensi dan perkiraan awal, tetapi kemudian memperbaikinya yang memperhitungkan tidak hanya kesalahan urutan kedua (SSE) seperti PCA, tetapi kesalahan urutan tinggi - jika itu benar ICA, semua pesanan lebih tinggi, meskipun banyak algoritma membatasi diri ke 3 atau 4. Komponen PCA urutan rendah cenderung sangat dipengaruhi oleh horizontal dan vertikal. Berurusan dengan gerakan kamera untuk film juga dapat menggunakan PCA / ICA. Baik untuk foto 2D dan film 2½D Anda memerlukan beberapa trik representasional untuk mencapainya.

Aplikasi lain yang dapat Anda jelaskan kepada nenek adalah eigenfaces - vektor eigen tingkat tinggi dapat mendekati '7 emosi dasar' (rata-rata wajah untuk masing-masing dan 'skala rotasi' atau kombinasi linear untuk melakukan hal itu rata-rata), tetapi sering kita menemukan komponen yang terkait jenis kelamin dan ras, dan beberapa mungkin membedakan individu atau fitur individu (kacamata, jenggot, dll.). Inilah yang terjadi jika Anda memiliki beberapa foto dari satu individu dan banyak emosi / ekspresi, tetapi Anda mendapatkan bias yang berbeda jika Anda memiliki banyak wajah dengan ekspresi netral. Menggunakan ICA bukan PCA tampaknya tidak banyak membantu untuk emosi dasar, tetapi Bartlett dan Sejnowsiki (1997) menunjukkan bahwa ia menemukan fitur yang berguna untuk pengenalan wajah.

Saya pikir semua orang mulai menjelaskan PCA dari ujung yang salah: dari vektor eigen. Jawaban saya dimulai di tempat yang tepat: sistem koordinat. Vektor eigen, dan masalah eigen secara umum, adalah alat matematika yang digunakan untuk mengatasi masalah yang sebenarnya yang merupakan sistem koordinat yang salah. Saya akan jelaskan.

Mari kita mulai dengan sebuah garis. Apa itu garis? Ini adalah objek satu dimensi. Jadi, Anda hanya perlu satu dimensi untuk bergerak dari satu titik ke titik lainnya. Di pesawat meskipun Anda melampirkan dua koordinat setiap titik garis. Itu karena sehubungan dengan garis itu sendiri sistem koordinat dipilih secara sewenang-wenang. Sistem koordinat, saya berpendapat, tidak mencerminkan sifat satu dimensi dari garis. Kalau saja saya akan selalu meletakkan asal-usul sistem koordinat Cartesian saya di telepon, dan memutarnya sehingga sumbu x-nya ada di telepon, maka saya tidak perlu sumbu-y lagi! Semua poin saya ada pada satu sumbu, karena garis adalah objek satu dimensi.

Di situlah penjelasan PCA harus dimulai. Masalah eigen adalah alat yang melakukan rotasi yang saya jelaskan, dan de-makna variabel menempatkan asal ke garis. PCA membantu mengungkap dimensi data yang sebenarnya selama hubungan antar variabel bersifat linier .

Ingatlah bahwa vektor eigen adalah vektor yang transformasinya paralel dengan vektor input yang sama. Dengan demikian vektor eigen dengan nilai eigen tinggi berarti bahwa vektor eigen memiliki derajat 'paralelitas' yang tinggi terhadap data, artinya Anda hanya dapat mewakili data dengan vektor ini dan mengharapkan kesalahan rendah dalam representasi baru. Jika Anda memilih vektor eigen tambahan dengan nilai eigen yang lebih rendah, Anda akan dapat mewakili lebih detail data karena Anda akan mewakili 'paralelitas' lainnya - yang tidak sepenting yang pertama karena nilai eigen yang lebih rendah.

PCA pada dasarnya adalah proyeksi ruang dimensi tinggi ke ruang dimensi rendah sambil menjaga informasi sebanyak mungkin.

Saya menulis posting blog di mana saya menjelaskan PCA melalui proyeksi teko 3D ...

... ke pesawat 2D sambil menjaga informasi sebanyak mungkin:

Rincian dan kode-R lengkap dapat ditemukan di pos:
http://blog.ephorie.de/intuition-for-principal-component-analysis-pca

Mungkin terlambat dalam analisis ini adalah asumsi implisit bahwa data dari kelompok I berbeda dari kelompok II dan orang berusaha untuk menemukan komponen mana yang mungkin menjadi faktor penyumbang utama perbedaan tersebut.

Melakukan analisis PCA yang menghasilkan ellipsoid identik untuk 2 set berbeda kemudian memberi tahu Anda bahwa kedua set tidak berbeda dengan parameter apa pun yang telah Anda ukur.