Apa arti jalur regularisasi di LASSO atau masalah sparsity terkait?

Jika kita memilih nilai parameter yang berbeda $\lambda$, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar tentang sparsity. Selain itu, dapatkah Anda memberikan deskripsi sederhana tentang solusi LASSOmasalah yang ada?

Katakanlah Anda memiliki model $p$ variabel prediktor: $x_1, x_2, \ldots x_p$. Set$\lambda$ ke nilai awal, dan perkirakan koefisien Anda $\beta_1, \beta_2, \ldots \beta_p$. Koefisien ini dapat dianggap sebagai titik masuk$p$-Dimensi ruang. *

Ulangi prosedur untuk nilai Anda selanjutnya dari $\lambda$, dan dapatkan satu set taksiran lagi. Ini membentuk titik lain di$p$ruang -dimensi. Lakukan ini untuk Anda semua$\lambda$nilai, dan Anda akan mendapatkan urutan poin tersebut. Urutan ini adalah jalur regularisasi.

* Ada juga istilah intersep $\beta_0$ jadi semua ini secara teknis terjadi di $(p+1)$ruang -dimensi, tapi tidak apa-apa. Bagaimanapun, sebagian besar program jaring / laso elastis akan membakukan variabel sebelum memasang model, jadi$\beta_0$ akan selalu menjadi 0.

Penjelasan grafis dari solusi Lasso dapat ditemukan pada halaman 69-73 dari teks "Elemen Pembelajaran Statistik" (versi online di sini ).