Mengapa Lasso menyediakan Seleksi Variabel?

Saya telah membaca Elemen Pembelajaran Statistik , dan saya ingin tahu mengapa Lasso menyediakan pemilihan variabel dan regresi ridge tidak.

Kedua metode meminimalkan jumlah residu kuadrat dan memiliki batasan pada nilai yang mungkin dari parameter $\beta$ . Untuk Lasso, batasannya adalah $||\beta||_1 \le t$ , sedangkan untuk punggungan adalah $||\beta||_2 \le t$ , untuk beberapa $t$ .

Saya telah melihat gambar berlian vs elips dalam buku ini dan saya memiliki intuisi mengapa Lasso dapat mengenai sudut-sudut wilayah terbatas, yang menyiratkan bahwa salah satu koefisien diatur ke nol. Namun, intuisi saya agak lemah, dan saya tidak yakin. Seharusnya mudah dilihat, tetapi saya tidak tahu mengapa ini benar.

Jadi saya kira saya sedang mencari pembenaran matematis, atau penjelasan intuitif mengapa kontur dari jumlah residu kuadrat cenderung mengenai sudut-sudut $||\beta||_1$ dibatasi wilayah (sedangkan situasi ini tidak mungkin jika kendala adalah $||\beta||_2$ ).

$y = \beta x + e$$\hat{\beta}$$\hat{e}$

$\min y^Ty -2 y^Tx\hat{\beta} + \hat{\beta} x^Tx\hat{\beta} + 2\lambda|\hat{\beta}|$

Mari kita asumsikan solusi kuadrat-terkecil adalah beberapa , yang setara dengan mengasumsikan bahwa , dan lihat apa yang terjadi ketika kita menambahkan penalti L1. Dengan , , jadi hukumannya sama dengan . Turunan dari fungsi objektif wrt adalah:$\hat{\beta} > 0$$y^Tx > 0$$\hat{\beta}>0$$|\hat{\beta}| = \hat{\beta}$$2\lambda\beta$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda$

yang ternyata memiliki solusi . $\hat{\beta} = (y^Tx - \lambda)/(x^Tx)$

Jelas dengan meningkatkan kita dapat mengarahkan ke nol (pada ). Namun, begitu , meningkatkan tidak akan membuatnya negatif, karena, dengan menulis dengan bebas, instan menjadi negatif, turunan dari fungsi tujuan berubah menjadi:$\lambda$$\hat{\beta}$$\lambda = y^Tx$$\hat{\beta} = 0$$\lambda$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} - 2\lambda$

di mana flip dalam tanda adalah karena sifat nilai absolut dari jangka waktu penalti; ketika menjadi negatif, istilah penalti menjadi sama dengan , dan mengambil turunan wrt menghasilkan . Ini mengarah ke solusi , yang jelas tidak konsisten dengan (mengingat bahwa solusi kuadrat terkecil , yang menyiratkan , dan$\lambda$$\beta$$-2\lambda\beta$$\beta$$-2\lambda$$\hat{\beta} = (y^Tx + \lambda)/(x^Tx)$$\hat{\beta} < 0$$> 0$$y^Tx > 0$$\lambda > 0$). Ada peningkatan penalti L1 DAN peningkatan dalam istilah kesalahan kuadrat (karena kami bergerak lebih jauh dari solusi kuadrat terkecil) ketika memindahkan dari ke , jadi kami tidak, kami hanya tetap di .$\hat{\beta}$$0$$< 0$$\hat{\beta}=0$

Seharusnya jelas secara intuitif logika yang sama berlaku, dengan perubahan tanda yang sesuai, untuk solusi kuadrat terkecil dengan . $\hat{\beta} < 0$

Namun, dengan penalti kuadrat terkecil , turunannya menjadi:$\lambda\hat{\beta}^2$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda\hat{\beta}$

yang ternyata memiliki solusi . Jelas tidak ada peningkatan akan mendorong ini sampai nol. Jadi penalti L2 tidak dapat bertindak sebagai alat pemilihan variabel tanpa beberapa ad-hockery ringan seperti "set estimasi parameter sama dengan nol jika kurang dari ". $\hat{\beta} = y^Tx/(x^Tx + \lambda)$$\lambda$$\epsilon$

Jelas hal-hal dapat berubah ketika Anda pindah ke model multivarian, misalnya, memindahkan satu estimasi parameter mungkin memaksa yang lain untuk mengubah tanda, tetapi prinsip umumnya sama: fungsi penalti L2 tidak dapat membuat Anda sampai nol, karena, menulis dengan sangat heuristik, efeknya menambah "penyebut" dari ekspresi untuk , tetapi fungsi penalti L1 dapat, karena efeknya menambah "pembilang". $\hat{\beta}$

Misalkan kita memiliki kumpulan data dengan y = 1 dan x = [1/10 1/10] (satu titik data, dua fitur). Salah satu solusinya adalah memilih salah satu fitur, fitur lainnya adalah mempertimbangkan kedua fitur. Yaitu kita bisa memilih w = [5 5] atau w = [10 0].

Perhatikan bahwa untuk norma L1 keduanya memiliki penalti yang sama, tetapi bobot yang lebih tersebar memiliki penalti yang lebih rendah untuk norma L2.

Saya pikir sudah ada jawaban yang bagus tetapi hanya untuk menambahkan beberapa intuisi mengenai interpretasi geometris:

"Laso melakukan penyusutan , sehingga ada" sudut "dalam kendala, yang dalam dua dimensi sesuai dengan berlian. Jika jumlah kotak" mengenai "salah satu sudut ini, maka koefisien yang sesuai dengan sumbu menyusut ke nol.$L1$

Dengan bertambahnya , berlian multidimensi memiliki jumlah sudut yang meningkat, sehingga sangat mungkin bahwa beberapa koefisien akan disetel sama dengan nol. Oleh karena itu, laso melakukan penyusutan dan pemilihan subset (efektif).$p$

Berbeda dengan pemilihan subset, ridge melakukan soft thresholding: karena parameter smoothing bervariasi, jalur sampel estimasi terus bergerak ke nol. "

Sumber: https://onlinecourses.science.psu.edu/stat857/book/export/html/137

Efeknya dapat divisualisasikan dengan baik di mana garis-garis berwarna adalah jalur koefisien regresi menyusut menuju nol.

"Regresi Ridge menyusutkan semua koefisien regresi ke nol; laso cenderung memberikan seperangkat koefisien regresi nol dan mengarah ke solusi yang jarang."

Sumber: https://onlinecourses.science.psu.edu/stat857/node/158