Apa yang dimaksud para ahli statistik ketika mereka mengatakan kita tidak benar-benar memahami bagaimana LASSO (regularisasi) bekerja?

Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti mengapa Lasso bekerja secara teknis, dengan cara mencegah overfitting dengan penyusutan parameter, tetapi saya bertanya-tanya apakah ada makna yang lebih dalam di balik pernyataan seperti itu. Adakah yang punya ide? Terima kasih!

machine-learning lasso regularization

— pengguna321627
sumber

Tentukan "berfungsi". Bekerja untuk melakukan apa, tepatnya? Bekerja untuk meningkatkan sparsity? Berhasil mencegah overfitting? Bekerja untuk menghasilkan tes statistik yang masuk akal? - Atau dengan kata lain, apa artinya "tidak berfungsi" dalam konteks ini? - Seperti yang dapat Anda lihat dari komentar pada jawaban saat ini, ada beberapa kebingungan mengenai apa yang Anda cari.

— RM

@ RM, Anda sebenarnya hanya mengulangi OP, IMHO. OP mungkin setelah yang tidak dikenal sama dengan yang Anda mengalami kesulitan untuk mengidentifikasi.

— Richard Hardy

@RichardHardy Saya melihat bagaimana hal itu mungkin terjadi, tetapi jika demikian, saya berharap bahwa OP setidaknya dapat memperluas konteks dalam pembicaraan statistik di mana intinya muncul, untuk semoga membantu kita fokus pada apa yang mungkin dilakukan oleh para pembicara. telah berpikir.

— RM

@ RM, bagus kalau begitu.

— Richard Hardy

Jawaban:

Kadang-kadang ada kurangnya komunikasi antara ahli statistik yang bekerja dan komunitas teori belajar yang mempelajari dasar-dasar metode seperti laso. Sifat teoritis laso sebenarnya sangat dipahami.

Dokumen ini memiliki ringkasan di Bagian 4 dari banyak properti yang dinikmati. Hasilnya cukup teknis, tetapi pada dasarnya:

Ini memulihkan dukungan sebenarnya (set entri bukan nol) dari vektor berat jarang di bawah beberapa asumsi ringan, untuk dataset cukup besar, dengan probabilitas tinggi.
Ini menyatu dengan vektor bobot yang benar pada laju optimal seiring dengan meningkatnya ukuran sampel, selama kolom tidak terlalu berkorelasi. $X$

— AaronDefazio
sumber

Jika dengan memahami mengapa Lasso bekerja, maksud Anda memahami mengapa ia melakukan pemilihan fitur (yaitu, mengatur bobot beberapa fitur hingga tepat 0), kami memahami itu dengan sangat baik:

— rinspy
sumber

Terima kasih atas ilustrasi yang bagus, tapi saya curiga itu bukan bagian yang diminati OP. Tentu saja, terserah OP untuk mengklarifikasi itu.

— Richard Hardy

Saya tidak mengerti poin diagram Anda.

— Michael R. Chernick

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@ Chonneonne, poin Anda membentuk dasar yang bagus untuk jawaban!

— Richard Hardy

@Chaconne, itu tampak untuk menghasilkan diskusi yang berguna meskipun dengan mengidentifikasi apa yang kita lakukan mengerti tentang Lasso!

— rinspy

Ada masalah pemulihan tanda konsistensi pemilihan model (yang telah dijawab oleh ahli statistik ), dan

ada masalah inferensi (membangun interval kepercayaan yang baik untuk perkiraan), yang sampai menjadi topik penelitian.

Sebagian besar pekerjaan dilakukan oleh ahli statistik daripada "komunitas teori belajar".

— Gao Zheng
sumber

Bagaimana ini menambah apa yang sudah diberikan?

— Michael R. Chernick

Tidak ada yang menyebutkan masalah kesimpulan di sini, yang saya percaya adalah alasan mengapa klaim ("tidak dipahami dengan baik") dibuat di tempat pertama.

— Gao Zheng