Memahami regresi ridge negatif

Saya mencari literatur tentang regresi ridge negatif .

Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung dengan versi negatif dengan hanya rumus di atas. Kebetulan berguna untuk apa yang saya lakukan tetapi saya gagal menafsirkannya dengan jelas. $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

Apakah Anda tahu teks pengantar serius tentang ridge negatif? Bagaimana itu bisa ditafsirkan?

regression regularization ridge-regression

— Benoit Sanchez
sumber

Saya tidak tahu ada teks pengantar yang membicarakannya, tetapi sumber ini mungkin mencerahkan, terutama diskusi di bagian bawah halaman 18: jstor.org/stable/4616538?seq=1page_scan_tab_contents

— Ryan Simmons

Jika tautan tersebut mati di masa mendatang, kutipan lengkapnya adalah: Björkström, A. & Sundberg, R. "Pandangan umum tentang regresi kontinum". Scandinavian Journal of Statistics, 26: 1 (1999): pp.17-30

— Ryan Simmons

Terima kasih banyak. Ini memberikan interpretasi yang jelas tentang ridge melalui CR ketika . (Nilai eigen terbesar dari matriks kovarians). Masih mencari interpretasi dengan ...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Benoit Sanchez

Perhatikan dalam pengembangan regresi ridge dari regularisasi Tikhonov bahwa regularisasi Tikhonov menjadi untuk regresi ridge. Selanjutnya, biasanya diganti oleh . Satu-satunya cara untuk membuat ini negatif adalah untuk menjadi imajiner, yaitu, kelipatan dari . OK, sekarang bagaimana? Kemana Anda ingin pergi dengannya?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Carl

Punggungan negatif yang disebutkan di sini: stats.stackexchange.com/questions/328630/… dengan beberapa tautan

— kjetil b halvorsen

Berikut ini adalah ilustrasi geometris dari apa yang terjadi dengan punggungan negatif.

Saya akan mempertimbangkan penduga bentuk yang timbul dari fungsi kehilanganBerikut adalah ilustrasi yang agak standar tentang apa yang terjadi dalam kasus dua dimensi dengan . Nol lambda sesuai dengan solusi OLS, lambda tak terbatas menyusutkan estimasi beta menjadi nol:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

Sekarang perhatikan apa yang terjadi ketika , di mana adalah nilai singular terbesar . Untuk negatif yang sangat besar, tentu saja mendekati nol. Ketika lambda mendekati , istilah mendapatkan satu nilai singular mendekati nol, yang berarti bahwa invers memiliki satu nilai singular yang menuju minus tak terhingga. Nilai singular ini sesuai dengan komponen utama pertama , jadi dalam batas itu seseorang mendapat menunjuk ke arah PC1 tetapi dengan nilai absolut tumbuh hingga tak terbatas. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

Apa yang benar-benar baik, adalah seseorang dapat menggambarnya pada angka yang sama dengan cara yang sama: beta diberikan oleh titik-titik di mana lingkaran menyentuh elips dari dalam :

Ketika , logika yang sama berlaku, memungkinkan untuk melanjutkan jalur punggungan di sisi lain penaksir OLS. Sekarang lingkaran menyentuh elips dari luar. batasnya, betas mendekati arah PC2 (tetapi itu terjadi jauh di luar sketsa ini): $\lambda\in(-s^2_\mathrm{min},0]$

The berbagai adalah sesuatu yang celah energi : penduga ada tidak hidup pada kurva yang sama. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

UPDATE: Dalam komentar @MartinL menjelaskan bahwa untuk kerugian tidak memiliki minimum tetapi memiliki maksimum. Dan maksimum ini diberikan oleh . Inilah sebabnya mengapa konstruksi geometris yang sama dengan sentuhan lingkaran / elips terus bekerja: kami masih mencari titik gradien nol. Ketika , kerugian memang memiliki minimum dan itu diberikan oleh , persis seperti di normal kasing. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

Tetapi ketika , kerugian tidak memiliki maksimum atau minimum; akan sesuai dengan titik pelana. Ini menjelaskan "celah energi". $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

The secara alami muncul dari punggung bukit regresi dibatasi tertentu, lihat Batas "Unit-varians" estimator regresi ridge ketika . Ini terkait dengan apa yang dikenal dalam literatur chemometrics sebagai "regresi kontinum", lihat jawaban saya di utas terkait. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

The dapat diobati dengan cara yang persis sama seperti : fungsi kerugian tetap sama dan punggung estimator menyediakan minimum. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— amuba kata Reinstate Monica
sumber

Terima kasih untuk grafiknya yang menarik. Ketika , solusi yang Anda buat grafik adalah maksimum global dari fungsi biaya, bukan minimum global. Demikian pula, ketika , titik yang telah Anda gambar harus menjadi titik pelana dari fungsi biaya.

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

Pertimbangkan hanya istilah kuadratik dalam fungsi biaya. Mereka dapat ditulis sebagai Misalkan , maka matriks dalam tanda kurung hanya memiliki nilai eigen negatif. Misalkan , dan matriks memiliki nilai eigen positif dan negatif. Nilai eigen ini memengaruhi apakah titik tersebut merupakan titik pelana, minimum, atau maksimum dari fungsi biaya.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

Itu sangat membantu, terima kasih banyak. Saya memperbarui jawaban saya.

— Amoeba berkata Reinstate Monica

Terima kasih. Khususnya untuk menyadari bahwa titik sadel hanya berlaku ketika . Ketika , solusinya memang masih minimum global sejak itu, pasti positif. Komentar saya sebelumnya sebagian tidak benar.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L