Pemahaman geometris PCA dalam ruang subjek (ganda)

Saya mencoba untuk mendapatkan pemahaman intuitif tentang bagaimana analisis komponen utama (PCA) bekerja di ruang subjek (ganda) .

Pertimbangkan dataset 2D dengan dua variabel, dan , dan titik data (matriks data adalah dan dianggap berpusat). Presentasi PCA yang umum adalah bahwa kami mempertimbangkan poin dalam , tulis matriks kovarian , dan temukan vektor eigen & nilai eigennya; PC pertama sesuai dengan arah varians maksimum, dll. Berikut ini adalah contoh dengan matriks kovarians . Garis merah menunjukkan vektor eigen yang diskalakan oleh akar kuadrat dari nilai eigen masing-masing. $x_1$ $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

Sekarang perhatikan apa yang terjadi di ruang subjek (saya belajar istilah ini dari @ttnphns), juga dikenal sebagai ruang ganda (istilah yang digunakan dalam pembelajaran mesin). Ini adalah ruang dimensi di mana sampel dari dua variabel kami (dua kolom ) membentuk dua vektor dan . Panjang kuadrat dari masing-masing vektor variabel sama dengan variansnya, cosinus sudut antara dua vektor sama dengan korelasi di antara mereka. Representasi ini, omong-omong, sangat standar dalam perawatan regresi berganda. Dalam contoh saya, ruang subjek terlihat seperti itu (saya hanya menampilkan bidang 2D yang direntang oleh dua vektor variabel): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Komponen utama, yang merupakan kombinasi linear dari dua variabel, akan membentuk dua vektor dan di bidang yang sama. Pertanyaan saya adalah: apa pemahaman geometri / intuisi tentang bagaimana membentuk vektor variabel komponen utama menggunakan vektor variabel asli pada plot seperti itu? Diberikan dan , prosedur geometrik apa yang akan menghasilkan ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

Di bawah ini adalah pemahaman parsial saya tentang hal itu.

Pertama-tama, saya dapat menghitung komponen utama / sumbu melalui metode standar dan plot mereka pada gambar yang sama:

$\hskip 1in$

Selain itu, kami dapat mencatat bahwa dipilih sedemikian sehingga jumlah jarak kuadrat antara (vektor biru) dan proyeksi mereka pada minimal; jarak tersebut adalah kesalahan rekonstruksi dan ditampilkan dengan garis putus-putus hitam. Setara, memaksimalkan jumlah panjang kuadrat dari kedua proyeksi. Ini sepenuhnya menentukan dan tentu saja sepenuhnya analog dengan deskripsi serupa di ruang utama (lihat animasi dalam jawaban saya untuk Memahami analisis komponen utama, vektor eigen & nilai eigen ). Lihat juga bagian pertama dari jawaban @ttnphns di sini . $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

Namun, ini tidak cukup geometris! Itu tidak memberi tahu saya bagaimana menemukan dan tidak menentukan panjangnya. $\mathbf p_1$

Dugaan saya adalah , , , dan semuanya terletak pada satu elips yang berpusat pada dengan dan sebagai sumbu utamanya. Berikut ini tampilannya dalam contoh saya: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

T1: Bagaimana membuktikannya? Demonstrasi aljabar langsung tampaknya sangat membosankan; bagaimana melihat bahwa ini harus menjadi masalahnya?

Tetapi ada banyak elips berbeda yang berpusat pada dan melewati dan : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

T2: Apa yang menentukan elips "benar"? Tebakan pertama saya adalah elips dengan poros utama terpanjang; tetapi tampaknya salah (ada elips dengan sumbu utama dengan panjang berapa pun).

Jika ada jawaban untuk Q1 dan Q2, maka saya juga ingin tahu apakah mereka menyamaratakan lebih dari dua variabel.

— amuba kata Reinstate Monica
sumber

Benarkah ada banyak elips yang berpusat pada titik asal (di mana x1 & x2 berpotongan), & melakukan kontak dengan ujung-ujung jauh dari x1 & x2? Saya akan berpikir hanya akan ada satu. Tentu ada banyak jika Anda bersantai 1 dari 3 kriteria (tengah, & 2 ujung).

— gung - Reinstate Monica

Ada banyak elips yang berpusat di titik asal melewati dua vektor. Tetapi untuk vektor-vektor non-collinear dan hanya ada satu yang merupakan lingkaran satuan dalam basis ganda. Ini adalah lokus manaBanyak yang bisa dipelajari dari sumbu utamanya.

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$

— whuber

variable space (I borrowed this term from ttnphns)- @amoeba, Anda pasti salah. Variabel-variabel sebagai vektor dalam (awalnya) ruang n-dimensi disebut ruang subjek (n subjek sebagai sumbu "mendefinisikan" ruang sementara variabel p "span" -nya). Ruang variabel , sebaliknya, kebalikan - yaitu scatterplot yang biasa. Ini adalah bagaimana terminologi ditetapkan dalam statistik multivariat. (Jika dalam pembelajaran mesin itu berbeda - saya tidak tahu itu - maka jauh lebih buruk bagi pelajar.)

— ttnphns

Perhatikan bahwa keduanya adalah ruang vektor: vektor (= titik) adalah bentang, sumbu adalah apa yang menentukan arah dan menghasilkan takik pengukuran. Perhatikan juga dialektika: kedua "spasi" sebenarnya adalah ruang yang sama (hanya dirumuskan secara berbeda untuk tujuan saat ini). Itu terlihat, misalnya saja, pada gambar terakhir dalam jawaban ini . Ketika Anda overlay dua formulasi Anda mendapatkan biplot, atau ruang ganda.

— ttnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseApa yang bisa menjadi bantuan heuristik dari elips di sini? Aku meragukan itu.

— ttnphns

Semua ringkasan ditampilkan dalam pertanyaan hanya bergantung pada momen kedua; atau, setara, pada matriks . Karena kita memikirkan sebagai cloud titik - setiap titik adalah deretan --kita mungkin bertanya operasi sederhana apa pada titik-titik ini yang melestarikan properti . $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

Pertama adalah mengalikan dengan matriks , yang akan menghasilkan matriks . Agar ini berfungsi, penting untuk itu $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

Kesetaraan dijamin ketika adalah matriks identitas: yaitu, ketika adalah ortogonal . $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

Telah diketahui (dan mudah ditunjukkan) bahwa matriks ortogonal adalah produk dari refleksi dan rotasi Euclidean (mereka membentuk grup refleksi dalam ). Dengan memilih rotasi dengan bijak, kita dapat secara dramatis menyederhanakan . Satu ide adalah fokus pada rotasi yang hanya memengaruhi dua titik di cloud pada satu waktu. Ini sangat sederhana, karena kita dapat memvisualisasikannya. $\mathbb{R}^n$ $\mathbf{X}$

Secara khusus, mari dan menjadi dua titik bukan nol yang berbeda di cloud, yang merupakan baris dan dari . Rotasi ruang kolom memengaruhi hanya dua titik ini untuk mengubahnya $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

Jumlah ini adalah dengan menggambar vektor dan di pesawat dan memutarnya dengan sudut . (Perhatikan bagaimana koordinat tercampur di sini! berjalan satu sama lain dan berjalan bersama. Dengan demikian, efek rotasi ini di biasanya tidak akan terlihat seperti rotasi dari vektor dan seperti yang ditarik dalam ) $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ $\mathbb{R}^2$

Dengan memilih sudut yang tepat, kita dapat mem-nol semua komponen baru ini. Agar konkret, mari kita pilih sehingga $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

Ini membuat . Pilih tanda untuk membuat . Sebut operasi ini, yang mengubah titik dan di cloud yang diwakili oleh , . $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

Menerapkan rekursif ke akan menyebabkan kolom pertama menjadi bukan nol hanya di baris pertama. Secara geometris, kita akan memindahkan semua kecuali satu titik di awan ke sumbu . Sekarang kita dapat menerapkan rotasi tunggal, yang berpotensi melibatkan koordinat di , untuk menekan titik titik ke satu titik. Secara ekuivalen, telah direduksi menjadi bentuk blok $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ $n-1$ $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

dengan dan kedua vektor kolom dengan koordinat , sedemikian rupa sehingga $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

Rotasi akhir ini selanjutnya mengurangi ke bentuk segitiga atasnya $\mathbf{X}$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

Akibatnya, kita sekarang dapat memahami dalam hal matriks lebih sederhana dibuat oleh dua poin bukan nol terakhir yang tersisa berdiri. $\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

Sebagai ilustrasi, saya menggambar empat poin awal dari distribusi Normal bivariat dan membulatkan nilainya menjadi

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

Cloud titik awal ini ditampilkan di sebelah kiri gambar berikutnya menggunakan titik-titik hitam pekat, dengan panah berwarna menunjuk dari titik asal ke setiap titik (untuk membantu kami memvisualisasikannya sebagai vektor ).

Urutan operasi yang dilakukan pada titik-titik ini oleh dan menghasilkan awan yang ditunjukkan di tengah. Pada sangat tepat, tiga poin berbaring sepanjang sumbu telah berkoalisi menjadi satu titik, meninggalkan representasi dari bentuk berkurangnya . Panjang vektor merah vertikal adalah; vektor (biru) lainnya adalah . $\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

Perhatikan bentuk putus-putus yang dibuat untuk referensi di kelima panel. Ini mewakili fleksibilitas terakhir yang tersisa dalam merepresentasikan : $\mathbf X$ saat kita memutar dua baris pertama, dua vektor terakhir menelusuri elips ini. Dengan demikian, vektor pertama menelusuri jalur

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

sedangkan vektor kedua menelusuri jalur yang sama menurut

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

Kita dapat menghindari aljabar yang membosankan dengan memperhatikan bahwa karena kurva ini adalah gambar dari himpunan titik bawah transformasi linear yang ditentukan oleh $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

itu harus berupa elips. (Pertanyaan 2 sekarang telah dijawab sepenuhnya.) Dengan demikian akan ada empat nilai kritis dalam parameterisasi , yang dua sesuai dengan ujung sumbu utama dan dua sesuai dengan ujung sumbu kecil; dan segera mengikuti bahwa secara bersamaan memberikan ujung sumbu minor dan sumbu utama. Jika kita memilih , titik-titik yang sesuai di cloud titik akan terletak di ujung sumbu utama, seperti ini: $\theta$ $(1)$ $(2)$ $\theta$

Karena ini adalah orthogonal dan diarahkan di sepanjang sumbu elips, mereka menggambarkan sumbu utama dengan benar : solusi PCA. Itu menjawab Pertanyaan 1.

Analisis yang diberikan di sini melengkapi jawaban saya di Bottom to top penjelasan tentang jarak Mahalanobis . Di sana, dengan memeriksa rotasi dan penggantian skala di , saya menjelaskan bagaimana titik awan di dimensi secara geometris menentukan sistem koordinat alami untuk . Di sini, saya telah menunjukkan bagaimana geometris menentukan elips yang merupakan gambar lingkaran di bawah transformasi linear. Elips ini, tentu saja, merupakan isocontour dengan jarak konstan Mahalanobis. $\mathbb{R}^2$ $p=2$ $\mathbb{R}^2$

Hal lain yang dilakukan oleh analisis ini adalah untuk menampilkan hubungan intim antara dekomposisi QR (dari matriks persegi panjang) dan Dekomposisi Nilai Singular , atau SVD. The dikenal sebagai rotasi Givens . Komposisi mereka merupakan bagian ortogonal, atau " ", dari dekomposisi QR. Apa yang tersisa - bentuk dikurangi - adalah bagian atas segitiga, atau " " dari dekomposisi QR. Pada saat yang sama, rotasi dan penempatan kembali (dijelaskan sebagai pelabelan kembali koordinat di pos lain) merupakan bagian SVD, $\gamma(i,j)$ $Q$ $\mathbf{X}$ $R$ $\mathbf{D}\cdot \mathbf{V}^\prime$ $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ . Baris , kebetulan, membentuk titik awan yang ditampilkan pada gambar terakhir dari posting itu. $\mathbf{U}$

Akhirnya, analisis yang disajikan di sini menggeneralisasi dengan cara yang jelas untuk kasus-kasus : yaitu, ketika hanya ada satu atau lebih dari dua komponen utama. $p\ne 2$

— whuber
sumber

Meskipun jawaban Anda mungkin patut dicontoh, itu tidak jelas - bagi saya - bagaimana hal itu berkaitan dengan pertanyaan itu. Anda berbicara tentang cloud data X (dan vektor yang Anda putar adalah titik data, baris X). Tetapi pertanyaannya adalah tentang berkurangnya ruang subjek . Dengan kata lain, kami tidak memiliki data X, kami hanya memiliki kovarians 2x2 atau matriks X'X pencar.

— ttnphns

(lanjt.) Kami mewakili 2 variabel yang diringkas olehnya sebagai 2 vektor dengan panjang = sqrt (elemen diagonal) dan sudut = korelasinya. Kemudian OP bertanya bagaimana kita dapat secara geometris memecahkan komponen utama. Dengan kata lain, OP ingin menjelaskan komposisi geometrik eigend (nilai eigen & vektor eigen atau, lebih baik, memuat) matriks kovarians simetris 2x2.

— ttnphns

(lanjt.) Silakan lihat gambar kedua di sana . Yang ingin dicari oleh OP dari pertanyaan saat ini adalah menemukan alat atau trik geometris (trigonometrik, dll) untuk menggambar vektor P1 dan P2 pada gambar itu, hanya memiliki vektor X dan Y seperti yang diberikan.

— ttnphns

@ttnphns. Tidak masalah apa titik awalnya: bagian pertama dari jawaban ini menunjukkan bahwa Anda dapat mengurangi awan titik menjadi sepasang titik yang berisi semua informasi tentang . Babak kedua menunjukkan bahwa pasangan poin tidak unik, tetapi masing-masing terletak pada elips yang sama. Ini memberikan konstruksi eksplisit bahwa elips awal dengan setiap dua titik representasi (seperti sepasang vektor biru ditampilkan dalam pertanyaan). Sumbu utama dan minornya menghasilkan solusi PCA (vektor merah).

X

$\mathbf{X}$ $\mathbf{X^\prime X}$

X^{'} X

$\mathbf{X^\prime X}$

— whuber

Terima kasih, saya mulai memahami pikiran Anda. (Saya harap Anda menambahkan subtitle / sinopsis tepat di jawaban Anda tentang dua "bagian" dari itu, hanya untuk struktur itu untuk pembaca.)

— ttnphns