Apa laso dalam analisis regresi?

82

Saya mencari definisi non-teknis dari laso dan apa yang digunakan untuk itu.

— Paul Vogt
sumber

Dari halaman Robert Tibshirani (penulis kertas laso asli): Penjelasan sederhana tentang Lasso dan Least Angle Regression .

112

LASSO (Penyusutan Mutlak Mutlak dan Penyeleksi Seleksi) adalah metode regresi yang melibatkan penghukuman ukuran absolut dari koefisien regresi.

Dengan menghukum (atau membatasi jumlah nilai absolut dari perkiraan) secara ekuivalen, Anda berakhir dalam situasi di mana beberapa estimasi parameter mungkin persis nol. Semakin besar penalti yang diterapkan, estimasi lebih lanjut menyusut ke nol.

Ini nyaman ketika kita menginginkan beberapa fitur / pemilihan variabel otomatis, atau ketika berhadapan dengan prediktor yang sangat berkorelasi, di mana regresi standar biasanya akan memiliki koefisien regresi yang 'terlalu besar'.

https://web.stanford.edu/~hastie/ElemStatLearn/ (Unduhan gratis) memiliki deskripsi yang baik tentang LASSO dan metode terkait.

— dcl
sumber

Saya baru di situs ini; inilah tepatnya informasi yang saya cari; terimakasih banyak.

— Paul Vogt

Apakah ada PDF tentang cara menyelesaikannya menggunakan Masalah Ganda?

— Royi

— Tautannya

3

Regresi LASSO adalah jenis analisis regresi di mana pemilihan variabel dan regulasi terjadi secara bersamaan. Metode ini menggunakan penalti yang memengaruhi nilai koefisien regresi. Sebagai penalti meningkatkan lebih banyak koefisien menjadi nol dan sebaliknya. Ini menggunakan teknik normalisasi L1 di mana parameter tuning digunakan sebagai jumlah penyusutan. Ketika parameter tuning meningkat maka bias meningkat dan sebagaimana berkurang maka varians meningkat. Jika konstan maka tidak ada koefisien nol dan seperti yang cenderung tak terbatas maka semua koefisien akan menjadi nol.

— Shweta
sumber

2

Dalam regresi "normal" (OLS) tujuannya adalah untuk meminimalkan jumlah residu kuadrat (RSS) untuk memperkirakan koefisien

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

Dalam hal regresi LASSO Anda memperkirakan koefisien dengan pendekatan yang sedikit berbeda:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

Bagian baru disorot dengan warna merah, yang merupakan jumlah dari nilai koefisien absolut yang dihukum oleh , jadi mengontrol jumlah regulasi (L1). $\lambda$ $\lambda$

Perhatikan bahwa jika , itu akan menghasilkan koefisien yang sama dengan Regresi Linier Sederhana. Rumus menunjukkan bahwa dalam kasus LASSO membutuhkan keduanya, RSS dan L1 regulazation (bagian merah baru) menjadi minimal. Jika , penalti L1 merah membatasi ukuran koefisien sehingga koefisien hanya dapat meningkat jika ini mengarah pada jumlah penurunan RSS yang sama. Lebih umum, satu-satunya cara koefisien dapat meningkat adalah jika kita mengalami penurunan jumlah residu kuadrat (RSS) yang sebanding. Dengan demikian, semakin tinggi Anda mengatur $\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ semakin banyak penalti diterapkan pada koefisien dan semakin kecil akan koefisien, beberapa mungkin menjadi nol. Itu berarti LASSO dapat menghasilkan model pelit dengan melakukan pemilihan fitur dan mencegah model overfitting. Yang mengatakan, Anda dapat menggunakan LASSO jika Anda memiliki banyak fitur dan tujuan Anda bukan untuk memprediksi data daripada menafsirkan koefisien model Anda.

— batu besar
sumber

1

Terima kasih atas jawaban Anda (+1). Situs ini mendukung , dapatkah Anda memposting rumus di ? Ini akan membuatnya dapat dibaca untuk pengguna tunanetra. Perhatikan bahwa Anda bahkan dapat menggunakan warna seperti di sini (klik "edit" untuk melihat jawaban mentah) dan underbraces seperti di sini untuk membuat angka yang serupa. Terima kasih.

T E X

$\TeX$

T E X

$\TeX$

— Tim

@Tim: Terima kasih banyak untuk itu! Itu adalah tip yang bagus untuk mengklik sunting untuk melihat bagaimana hal itu dilakukan.

— batu