Penurunan solusi bentuk laso tertutup

Untuk masalah laso sedemikian rupa sehingga . Saya sering melihat hasil soft-thresholding untuk kasus ortonormal . Dikatakan bahwa solusinya dapat "dengan mudah ditampilkan" menjadi seperti itu, tetapi saya belum pernah melihat solusi yang berhasil. Adakah yang melihat atau mungkin telah melakukan derivasi? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— Gary
sumber

Ini agak membingungkan. Pada awalnya Anda menganggap

kendala

t

$t$ dan dalam solusi Anda memperkenalkan parameter

γ

$\gamma$ . Saya kira Anda ingin keduanya berhubungan melalui masalah ganda, tapi mungkin Anda bisa memperjelas apa yang Anda cari.

— kardinal

Sebagian menanggapi @ cardinal, menemukan

β

$\beta$ yang meminimalkan

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ tunduk pada

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ sama dengan menemukan

β

$\beta$ yang meminimalkan

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ . Ada hubungan 1-1 antara

t

$t$ dan

γ

$\gamma$ . Untuk 'mudah' melihat mengapa hasil soft-thresholding begitu, saya sarankan untuk menyelesaikan ekspresi kedua (dalam komentar saya).

Catatan lain, ketika menemukan

β

$\beta$ yang meminimalkan

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ ,

masalahnya ke dalam case

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ , dan

β = 0

$\beta=0$ .

@ kardinal Ah ya, 1-1 salah. Koreksi: untuk setiap

t \geq 0

$t\geq0$ , Anda dapat menemukan

γ \geq 0

$\gamma\geq 0$ .

Terima kasih atas diskusi yang luar biasa! Saya menemukan video ini di coursera - Turunkan pembaruan keturunan koordinat laso , yang sangat relevan dengan diskusi ini, dan berjalan melalui solusi dengan sangat elegan. Mungkin bermanfaat bagi pengunjung masa depan :-)

— zorbar

Jawaban:

Ini dapat diserang dengan sejumlah cara, termasuk pendekatan yang cukup ekonomis melalui kondisi Karush – Kuhn – Tucker .

Di bawah ini adalah argumen alternatif yang cukup mendasar.

Solusi kuadrat terkecil untuk desain ortogonal

Misalkan terdiri dari kolom ortogonal. Kemudian, solusi kuadrat-terkecil adalah $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

Beberapa masalah setara

Melalui formulir Lagrangian, mudah untuk melihat bahwa masalah yang setara dengan yang dipertimbangkan dalam pertanyaan adalah

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

Memperluas istilah pertama yang kita dapatkan dan karena tidak mengandung dari variabel yang diminati, kita dapat membuangnya dan mempertimbangkan masalah lain yang setara, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

Memperhatikan bahwa , masalah sebelumnya dapat ditulis ulang sebagai $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

Fungsi obyektif kami sekarang adalah jumlah tujuan, masing-masing terkait dengan variabel terpisah , sehingga masing-masing dapat diselesaikan secara individual. $\beta_i$

Seluruhnya sama dengan jumlah bagian-bagiannya

Perbaiki tertentu . Kemudian, kami ingin meminimalkan $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

Jika , maka kita harus memiliki karena jika tidak kita bisa membalikkan tandanya dan mendapatkan nilai yang lebih rendah untuk fungsi tujuan. Demikian juga jika , maka kita harus memilih . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

Kasus 1 : . Karena , dan membedakannya dengan dan menetapkan sama dengan nol , kami mendapatkan dan ini hanya layak jika sisi kanannya tidak negatif, jadi dalam hal ini solusi sebenarnya adalah $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Kasus 2 : . Ini menyiratkan kita harus memiliki dan karenanya Membedakan sehubungan dengan dan pengaturan sama dengan nol, kita mendapatkan . Tetapi, sekali lagi, untuk memastikan ini layak, kita memerlukan , yang dicapai dengan mengambil $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

Dalam kedua kasus, kami mendapatkan formulir yang diinginkan, dan kami selesai.

Komentar akhir

— kardinal
sumber

Lelang hebat @ kardinal!

— Gary

+1 Seluruh babak kedua dapat diganti dengan pengamatan sederhana bahwa fungsi objektif adalah penyatuan bagian dari dua parabola cembung dengan simpul di , di mana tanda negatif diambil untuk dan sebaliknya positif. Formula hanyalah cara mewah untuk memilih simpul bawah.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

Jika memungkinkan, saya ingin melihat derivasi menggunakan kondisi optimalitas KKT. Apa cara lain untuk memperoleh hasil ini?

— user1137731

@ Cardinal: terima kasih untuk derivasi yang bagus. Satu pengamatan. Jika saya ingat, matriks dengan kolom ortogonal tidak sama dengan matriks ortogonal (alias orthonormal). Kemudian untuk beberapa matriks diagonal (tidak perlu matriks identitas). Dengan asumsi matriks ortogonal (seperti dalam pertanyaan asli), kita memiliki dan semua tampak hebat :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@ cardinal Saya tidak mengerti mengapa Anda mengatakan "karena kalau tidak kita bisa membalik tandanya dan mendapatkan nilai yang lebih rendah untuk fungsi tujuan". Kami mengambil turunan dari fungsi objektif. Jadi bagaimana jika fungsi objektifnya lebih tinggi atau lebih rendah, siapa yang peduli. Yang kami pedulikan adalah turunannya diatur ke nol, kami peduli tentang ekstrema. Apakah itu lebih tinggi atau lebih rendah oleh konstanta tidak mempengaruhi argmin.

— user13985

Asumsikan bahwa kovariat , kolom , juga standar sehingga . Ini hanya untuk kenyamanan nanti: tanpanya, notasi semakin berat karena hanya diagonal. Lebih jauh berasumsi bahwa . Ini adalah asumsi yang diperlukan agar hasilnya bertahan. Tentukan estimator kuadrat terkecil . Kemudian, (bentuk Lagrangian dari) estimator laso $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} di mana adalah operator proksimal dari fungsi dan ambang lunak dengan jumlah

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

Ini adalah derivasi yang melewatkan derivasi terperinci dari operator proksimal yang berhasil dilakukan Cardinal, tetapi, saya harap, mengklarifikasi langkah-langkah utama yang memungkinkan bentuk tertutup.

— pengguna795305
sumber