Hubungan antara regresi ridge dan regresi PCA

Saya ingat pernah membaca di suatu tempat di web hubungan antara regresi ridge (dengan regularisasi) dan regresi PCA: saat menggunakan -regregulated regulated dengan hyperparameter , jika , maka regresi tersebut setara dengan menghapus Variabel PC dengan nilai eigen terkecil. $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

Mengapa ini benar?
Apakah ini ada hubungannya dengan prosedur optimasi? Secara naif, saya berharap itu setara dengan OLS.
Adakah yang punya referensi untuk ini?

— Jose G
sumber

Bisakah Anda menjelaskan lebih eksplisit bagaimana PCA dan regresi terhubung dalam pernyataan Anda? Regresi membedakan dependen dari variabel independen, sedangkan tidak ada yang terjadi pada PCA. Jadi, variabel apa yang Anda terapkan pada PCA? Tidak bisa hanya variabel independen, karena itu tidak ada hubungannya dengan regresi. Tetapi jika itu diterapkan pada semua variabel, maka vektor eigen adalah kombinasi linear dari semuanya. Apa mungkin ini bisa berarti untuk menghapus setiap komponen tersebut dari dataset, karena melibatkan variabel dependen?

— whuber

Koneksi (seperti yang saya mengerti), adalah bahwa jika Anda menggunakan penalti regularisasi yang sangat sangat kecil, regresi L2-regularized akan menghilangkan variabel yang memiliki nilai eigen terkecil. Oleh karena itu, melakukan SVD pada matriks desain, dan menghapus variabel dengan nilai eigen terkecil adalah setara dengan regresi dengan penalti regularisasi "lunak" ... Ini adalah penjelasan terdekat yang saya temukan untuk ini: sites.stat.psu. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

Referensi Anda tampaknya menunjukkan kebalikan dari apa yang Anda katakan dalam komentar Anda: untuk

kecil , ada sedikit perubahan dalam hasilnya. Tidak ada yang dihapus sama sekali. Bahkan, beberapa slide tampaknya bertujuan menunjukkan perbedaan antara regresi yang dihukum

(di mana estimasi menyusut ke

) dan "regresi PCA" (di mana komponen terkecil seluruhnya dihapus - yang bisa menjadi hal yang sangat buruk dalam beberapa keadaan).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Mmm .. menemukan referensi lain: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf Dalam slide, "

dan komponen utama", dikatakan bahwa proyek regresi ridge y pada komponen ini dengan large dj * sigh *

y^{r i d g e}

$y^{ridge}$

— Jose G

Apakah Anda memperhatikan hal itu. 14 dari referensi terakhir itu secara eksplisit menjawab pertanyaan Anda?

— whuber

Jawaban:

Misalkan adalah matriks prediktor terpusat dan pertimbangkan dekomposisi nilai singularnya dengan sebagai matriks diagonal dengan elemen diagonal . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

Nilai-nilai pas kuadrat terkecil biasa (OLS) regresi diberikan oleh Nilai dipasang regresi ridge diberikan oleh

{\hat{y}}_{HAI L. S} = X β_{HAI L. S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

Nilai dipasang dari PCA regresi (PCR) dengan

komponen diberikan oleh

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ saya)^{- 1} X^{⊤} y = U d saya Sebuah g {\frac{s_{saya}^{2}}{s_{saya}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

mana ada

yang diikuti oleh nol.

{\hat{y}}_{P C R} = X_{P C SEBUAH} β_{P C R} = U d saya Sebuah g {1, ..., 1, 0, ... 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

Dari sini kita dapat melihat bahwa:

Jika maka . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
Ini berarti bahwa regresi ridge dapat dilihat sebagai "versi lancar" dari PCR.

$s_i$ $\mathbf X$
Regresi Ridge cenderung berkinerja lebih baik dalam praktik (misalnya memiliki kinerja lintas-validasi lebih tinggi).
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

Salah satu referensi yang baik adalah Elemen Pembelajaran Statistik , Bagian 3.4.1 "Regresi Ridge".

Lihat juga utas ini: Interpretasi regularisasi ridge dalam regresi dan khususnya jawabannya oleh @BrianBorchers.

— amuba kata Reinstate Monica
sumber

Apakah masuk akal untuk soft-threshold nilai singular, maks (

s_{i} -

$s_i -$ thresh, 0)? (Lasso regresi soft-threshold

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$ , bukan spektrum.)

— denis

Satu koreksi untuk jawaban Anda yang luar biasa: nilai yang pas dalam regresi pada yang pertama

k

$k$ PC sebenarnya

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$ Ini adalah latihan di akhir bab yang Anda sebutkan.

— Matthias Schmidtblaicher

Ini indah.

— xxx222

Elemen Pembelajaran Statistik memiliki diskusi besar tentang hubungan ini.

Cara saya mengartikan koneksi dan logika ini adalah sebagai berikut:

PCA adalah Kombinasi Linear dari Variabel Fitur, berusaha untuk memaksimalkan varians data yang dijelaskan oleh ruang baru.
Data yang menderita multikolinearitas (atau lebih banyak prediktor daripada deretan data) mengarah ke Matriks Kovarian yang tidak memiliki Peringkat penuh.
Dengan Matriks Kovarian ini, kita tidak dapat membalikkan untuk menentukan solusi Least Squares; ini menyebabkan perkiraan numerik dari koefisien kuadrat terkecil meledak hingga tak terbatas.
Ridge Regression memperkenalkan penalti Lambda pada Covariance Matrix untuk memungkinkan inversi matriks dan konvergensi Koefisien LS.

Sambungan PCA adalah bahwa Regresi Ridge menghitung Kombinasi Linear dari Fitur untuk menentukan di mana multikolinieritas terjadi. Kombinasi Fitur Linier (Analisis Komponen Utama) dengan varians terkecil (dan karenanya nilai singular yang lebih kecil dan nilai eigen yang lebih kecil di PCA) adalah yang dihukum paling berat.

Pikirkan seperti ini; untuk Kombinasi Linier Fitur dengan varian terkecil, kami telah menemukan Fitur yang paling mirip, sehingga menyebabkan multikolinieritas. Karena Ridge tidak mengurangi set Fitur, arah mana pun yang digambarkan oleh Kombinasi Linier ini, Fitur asli yang sesuai dengan arah itu paling banyak dihukum.

— MDornbos
sumber

Pertimbangkan persamaan linier

X β = y,

$\mathbf X \beta = \mathbf y\,,$ dan SVD dari

X

$\mathbf X$ ,

X = U S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$ dimana

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$ adalah matriks diagonal dari nilai singular.

Kuadrat terkecil biasa menentukan vektor parameter $\beta$ sebagai

β_{HAI L. S} = V S^{- 1} U^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$ Namun, pendekatan ini gagal segera setelah ada satu nilai singular yang nol (saat itu kebalikannya tidak ada). Apalagi jika tidak

s_{i}

$s_i$ adalah sangat nol, nilai singular yang kecil secara numerik dapat membuat matriks tidak dikondisikan dan mengarah pada solusi yang sangat rentan terhadap kesalahan.

Regresi Ridge dan PCA menghadirkan dua metode untuk menghindari masalah ini. Regresi punggungan menggantikan $\mathbf S^{-1}$ dalam persamaan di atas untuk $\beta$ oleh

\begin{aligned} S_{punggung bukit}^{- 1} & = diag (\frac{s_{saya}}{s_{saya}^{2} + α}), \\ β_{punggung bukit} & = V S_{punggung bukit}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA menggantikan $\mathbf S^{-1}$ oleh

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{saya}} θ (s_{saya} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$ wehre

θ

$\theta$ adalah fungsi langkah, dan

γ

$\gamma$ adalah parameter ambang batas.

Kedua metode demikian melemahkan dampak ruang bagian yang sesuai dengan nilai-nilai kecil. PCA melakukan itu dengan cara yang sulit, sementara punggungan adalah pendekatan yang lebih halus.

Secara lebih abstrak, Anda dapat membuat skema regularisasi sendiri

S_{myReg}^{- 1} = diag (R (s_{saya})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$ dimana

R (x)

$R(x)$ adalah fungsi yang harus mendekati nol untuk

x \to 0

$x\rightarrow 0$ dan

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$ untuk

x

$x$ besar. Tapi ingat, tidak ada makan siang gratis.

— Davidhigh
sumber