Koefisien variabel naik, kemudian turun seiring lambda berkurang (LASSO)

Saya mundur prediktor kontinu pada lebih dari 60 variabel (baik kontinu dan kategoris) menggunakan LASSO (glmnet).

Dalam memeriksa plot jejak variabel, saya perhatikan bahwa seiring bertambahnya log lambda, salah satu variabel kunci memiliki koefisien yang benar-benar meningkat. Kemudian, setelah titik tertentu, mulai berkurang seperti yang kita harapkan.

Untuk memastikan ini bukan kebetulan, saya menjalankan 10 model menggunakan bootstraps dan memperoleh hasil yang sangat mirip.

Apakah ini mungkin, atau ada masalah dengan data? Jika sah, apa tren ini dalam koefisien variabel memberitahu kita tentang variabel dan hubungannya dengan respon?

lasso regularization glmnet

— matsuo_basho
sumber

Itu tidak hanya mungkin, itu adalah kejadian yang sangat umum.

Perhatikan bahwa hukumannya adalah $\ \lambda\,||\beta||_1$ . Jadi beberapa komponen dapat bertambah besar selama yang lain berkurang, tanpa meningkatkan norma secara keseluruhan. Terkadang sebagai $\lambda$ meningkat, satu (atau beberapa) koefisien (s) dapat meningkat dalam ukuran dengan mengorbankan orang lain yang bersama-sama menurun setidaknya secepat, karena itu membantu menjaga laju kenaikan dalam kurangnya fit term lebih dari mengurangi semuanya bersama-sama akan.

Anda mungkin ingin merencanakan apa yang terjadi $\sum_i |\beta_i|$ sebagai $\log\lambda$ meningkat.

Anda akan sering melihat perilaku seperti ini ketika ada beberapa korelasi di antara para prediktor - mungkin ada semacam efek substitusi.

Perhatikan bahwa di plot teratas Anda $|\beta_4|+|\beta_{11}|$ hampir selalu menurun atau cukup stabil (kenaikan kecil sesekali akan diimbangi dengan penurunan koefisien masih variabel lainnya)

— Glen_b -Reinstate Monica
sumber

Apa yang dikatakan dinamika ini tentang pengaruh variabel terhadap respons dibandingkan jika hanya berkurang dengan lambda yang meningkat?

— matsuo_basho

Saya tidak yakin apa yang Anda tanyakan di sana, tetapi Anda perlu mempertimbangkan efek dari semua variabel secara bersamaan. Misalnya, jika

β_{4} - β_{11}

$\beta_4-\beta_{11}$ hampir konstan dalam banyak peningkatan itu

β_{4}

$\beta_4$ dengan meningkatnya

λ

$\lambda$ , seperti yang kita lihat di plot teratas Anda, Anda mungkin ingin mempertimbangkan apa efek dari kontras itu. Efek dari

x_{4}

$x_4$ sendiri mungkin membingungkan karena Anda melewatkan setengah cerita di sana.

— Glen_b -Reinstate Monica

+1, tetapi mungkinkah untuk mendapatkan contoh konstruktif yang menunjukkan bagaimana dan mengapa hal seperti itu terjadi?

— Richard Hardy

Biarkan saya memberikan latar belakang mengapa saya mengajukan pertanyaan. Saya ingin mengidentifikasi variabel paling penting dalam model. Dari model yang saya jalankan, kita melihat bahwa variabel 4 dan variabel 11 atau 24 konsisten dalam model ketika lambda tinggi. Jadi, kita dapat mengatakan bahwa itu penting. Meskipun variabel 4 umumnya memiliki koefisien positif, cara perubahannya agak membingungkan. Apakah dinamika ini memberi tahu kita apa pun tentang menafsirkan pengaruh variabel terhadap respons?

— matsuo_basho