Menampilkan Equivalence Antara

Menurut referensi Buku 1 , Buku 2 dan kertas .

Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka.

Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan bahwa kesetaraan atau logika.

Pertanyaanku adalah

Bagaimana cara menunjukkan kesetaraan itu menggunakan Karush – Kuhn – Tucker (KKT)?

Rumus berikut adalah untuk regresi Ridge.

CATATAN

Pertanyaan ini bukan pekerjaan rumah. Ini hanya untuk meningkatkan pemahaman saya tentang topik ini.

MEMPERBARUI

Saya belum punya ide.

— jeza
sumber

Mengapa Anda membutuhkan lebih dari 1 jawaban? Jawaban saat ini muncul untuk menjawab pertanyaan secara komprehensif. Jika Anda ingin mempelajari lebih lanjut tentang metode pengoptimalan, Convex Optimization Lieven Vandenberghe dan Stephen P. Boyd adalah tempat yang baik untuk memulai.

— Sycorax berkata Reinstate Monica

@ Scorax, terima kasih atas komentar Anda dan buku yang Anda berikan kepada saya. Jawabannya tidak begitu jelas bagi saya dan saya tidak bisa meminta klarifikasi lebih lanjut. Dengan demikian, lebih dari satu jawaban dapat membuat saya melihat perspektif dan cara deskripsi yang berbeda.

— jeza

@jeza, Apa yang hilang pada jawabanku?

— Royi

Silakan ketik pertanyaan Anda sebagai teks, jangan hanya memposting foto (lihat di sini ).

— gung - Reinstate Monica

Jawaban:

Jawaban yang lebih teknis adalah karena masalah optimasi terbatas dapat ditulis dalam hal pengganda Lagrange. Secara khusus, Lagrangian yang terkait dengan masalah optimisasi terbatas diberikan oleh

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$

t^{*}

$t^*$ yang memecahkan masalah optimisasi luar. Ini memberi kami semacam pemetaan dari masalah optimisasi yang tidak dibatasi hingga masalah yang terbatas. Dalam pengaturan khusus Anda, karena semuanya berperilaku baik untuk regresi jaring elastis, pemetaan ini sebenarnya harus 1-1, sehingga akan berguna untuk dapat beralih di antara dua konteks ini tergantung pada mana yang lebih berguna untuk aplikasi tertentu. Secara umum, hubungan antara masalah terbatas dan tidak terbatas ini mungkin kurang berperilaku baik, tetapi mungkin masih berguna untuk memikirkan sejauh mana Anda dapat bergerak antara masalah terbatas dan tidak terbatas.

Sunting: Seperti yang diminta, saya akan memasukkan analisis yang lebih konkret untuk regresi ridge, karena ia menangkap ide-ide utama sambil menghindari keharusan berurusan dengan teknis yang terkait dengan non-pembeda dari penalti LASSO. Ingat, kami sedang memecahkan masalah optimisasi (dalam notasi matriks):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Biarkan menjadi solusi OLS (yaitu ketika tidak ada kendala). Maka saya akan fokus pada kasus di mana(asalkan ada) karena sebaliknya, kendala tidak menarik karena tidak mengikat. Lagrangian untuk masalah ini dapat ditulis Kemudian dibedakan , kita mendapatkan kondisi urutan pertama: yang hanya merupakan sistem persamaan linear dan karenanya dapat diselesaikan: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ untuk beberapa pilihan pengganda . Pengganda kemudian hanya dipilih untuk membuat kendala menjadi benar, yaitu kita perlu

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ yang ada sejak LHS adalah monoton di . Persamaan ini memberikan pemetaan eksplisit dari pengganda ke kendala, dengan ketika RHS ada dan Pemetaan ini sebenarnya sesuai dengan sesuatu yang sangat intuitif. The amplop Teorema mengatakan bahwa

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ bersesuaian dengan penurunan marjinal dalam kesalahan kita dapatkan dari relaksasi kecil kendala . Ini menjelaskan mengapa ketika sesuai dengan. Setelah batasannya tidak mengikat, tidak ada gunanya merilekskannya lagi, itulah sebabnya pengganda menghilang.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
sumber

dapatkah Anda memberikan kepada kami jawaban yang terperinci langkah demi langkah dengan contoh praktis jika memungkinkan.

— jeza

banyak terima kasih, mengapa kamu tidak menyebutkan KKT? Saya tidak terbiasa dengan bidang ini, jadi perlakukan saya sebagai siswa sekolah menengah.

— jeza

Kondisi KKT dalam kasus ini adalah generalisasi dari "kondisi orde pertama" yang saya sebutkan dengan membedakan bahasa Lagrangian dan menetapkan turunannya sama dengan 0. Karena dalam contoh ini, kendala berlaku dengan kesetaraan, kita tidak memerlukan kondisi KKT di penuh secara umum. Dalam kasus yang lebih rumit, semua yang terjadi adalah bahwa beberapa persamaan di atas menjadi ketidaksetaraan dan pengganda menjadi 0 untuk kendala menjadi tidak mengikat. Misalnya, inilah yang terjadi ketikadi atas.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

Ada analisis hebat dari stats_model dalam jawabannya .

Saya mencoba menjawab pertanyaan serupa di The Proof of Equivalent Formula of Ridge Regression .

Saya akan mengambil lebih banyak pendekatan Hand On untuk kasus ini.
Mari kita coba melihat pemetaan antara dan dalam 2 model. $t$ $\lambda$

Seperti yang saya tulis dan dapat dilihat dari stats_model dalam analisisnya pemetaan tergantung pada data. Karenanya kita akan memilih realisasi spesifik dari masalah. Namun kode dan sketsa solusi akan menambah intuisi pada apa yang terjadi.

Kami akan membandingkan 2 model berikut:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Mari kita asumsikan bahwa menjadi solusi dari model yang diregulasi dan menjadi solusi dari model yang dibatasi. $\hat{x}$ $\tilde{x}$

Kami sedang melihat pemetaan dari ke sedemikian rupa sehingga . Melihat solusi saya untuk Solver untuk Norm Constraint Least Squares orang dapat melihat bahwa menyelesaikan Model Constrained melibatkan penyelesaian Model Regularized dan menemukan yang cocok dengan (Kode aktual disajikan dalam Least Squares dengan Euclidean ( ) Batasan Norma ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Jadi kami akan menjalankan solver yang sama dan untuk setiap kami akan menampilkan optimal . $t$ $\lambda$

Solver pada dasarnya memecahkan:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

Jadi di sini adalah Matriks kami:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

Dan inilah vektor kami:

Ini pemetaannya:

Seperti dapat dilihat di atas, untuk nilai parameter yang cukup tinggi seperti yang diharapkan. $t$ $\lambda = 0$

Memperbesar ke kisaran [0, 10]:

Kode lengkap tersedia di Repositori GitHub Q401212 StackExchange Cross saya .

— Royi
sumber