Apa hubungan antara kuadrat terkecil parsial, regresi peringkat berkurang, dan regresi komponen utama?

Apakah penurunan regresi peringkat dan regresi komponen utama hanyalah kasus khusus dari kuadrat terkecil parsial?

Tutorial ini (Halaman 6, "Perbandingan Tujuan") menyatakan bahwa ketika kita melakukan kuadrat terkecil parsial tanpa memproyeksikan X atau Y (yaitu, "tidak parsial"), itu menjadi penurunan peringkat peringkat atau regresi komponen utama, sesuai.

Pernyataan serupa dibuat di halaman dokumentasi SAS ini , Bagian "Reduced Rank Regression" dan "Hubungan antara Metode".

Pertanyaan lanjutan yang lebih mendasar adalah apakah mereka memiliki model probabilistik mendasar yang serupa.

— Minkov
sumber

Ini benar-benar masalah penting.

— Steve

@Steve. Terima kasih. Lihat komentar saya di atas untuk pengantar yang lebih rinci.

— Minkov

Ini adalah tiga metode yang berbeda, dan tidak satupun dari mereka dapat dilihat sebagai kasus khusus dari yang lain.

Secara formal, jika dan yang berpusat prediktor ( ) dan respon ( ) dataset dan jika kita mencari pasangan pertama dari sumbu, untuk dan untuk , maka metode ini maksimalkan jumlah berikut: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Saya menambahkan analisis korelasi kanonik ke dalam daftar ini.)

Saya menduga bahwa kebingungan mungkin karena di SAS ketiga metode tampaknya diimplementasikan melalui fungsi yang sama PROC PLSdengan parameter yang berbeda. Jadi mungkin tampak bahwa ketiga metode adalah kasus khusus PLS karena itulah fungsi SAS dinamai. Namun, ini hanya penamaan yang tidak menguntungkan. Pada kenyataannya, PLS, RRR, dan PCR adalah tiga metode berbeda yang kebetulan diimplementasikan dalam SAS dalam satu fungsi yang karena alasan tertentu disebut PLS.

Kedua tutorial yang Anda tautkan sebenarnya sangat jelas tentang hal itu. Halaman 6 dari presentasi tutorial menyatakan tujuan dari ketiga metode dan tidak mengatakan PLS "menjadi" RRR atau PCR, bertentangan dengan apa yang Anda klaim dalam pertanyaan Anda. Demikian pula, dokumentasi SAS menjelaskan bahwa tiga metode berbeda, memberikan rumus dan intuisi:

[P] komponen rincipal regresi memilih faktor-faktor yang menjelaskan variasi prediktor sebanyak mungkin, regresi peringkat yang dikurangi memilih faktor-faktor yang menjelaskan sebanyak mungkin variasi respons, dan kuadrat terkecil parsial menyeimbangkan kedua tujuan, mencari faktor-faktor yang menjelaskan variasi respons dan prediksi. .

$x_1$ $x_2$ $y$ $X$ $y$ $X$

Seseorang dapat menambahkan penalti punggungan ke fungsi RRR yang hilang untuk mendapatkan regresi pangkat rendah ridge, atau RRRR. Ini akan menarik sumbu regresi ke arah PC1, agak mirip dengan apa yang dilakukan PLS. Namun, fungsi biaya untuk RRRR tidak dapat ditulis dalam bentuk PLS, sehingga mereka tetap berbeda.

$y$

— amuba kata Reinstate Monica
sumber

Tabel di bagian akhir sangat membantu. Berdasarkan tabel itu, orang mungkin menganggap PCA, RRR, dan CCA sebagai "kasus khusus" PLS jika Anda juga berpikir bahwa sepeda dan unicycles adalah kasus khusus dari sepeda roda tiga. Saya tidak cenderung berpikir seperti itu.

— EdM

@ EDM, saya pikir orang dapat mengatakan bahwa semua metode ini adalah kasus khusus dari beberapa metode pemersatu yang tidak benar-benar memiliki nama (tetapi orang dapat menemukannya!). Tetapi nama "PLS" sudah memiliki makna mapan dan makna ini tidak termasuk salah satu dari teknik lainnya.

— Amoeba berkata Reinstate Monica

Dan terimakasih! Saya memutuskan sekarang untuk memindahkan meja ke awal jawaban :)

— amoeba berkata Reinstate Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— Amuba mengatakan Reinstate Monica

@ Moskowitz: Secara umum, ketika orang berbicara tentang metode A menjadi "kasus khusus" metode B, mereka berarti bahwa B lebih umum dan A setara dengan B dengan beberapa parameter tertentu. Mereka tidak berarti bahwa A memberikan hasil yang sama dengan B dalam beberapa kondisi khusus pada dataset. Karena itu jawabanku untuk pertanyaanmu.

— Amuba mengatakan Reinstate Monica