Jika multi-collinearity tinggi, apakah koefisien LASSO menyusut menjadi 0?

Diberikan $x_2 = 2 x_1$ , apa perilaku teoritis dari koefisien LASSO dan mengapa?

Akan salah satu $x_1$ atau $x_2$ menyusut menjadi $0$ atau keduanya?

require(glmnet)
x1 = runif(100, 1, 2)
x2 = 2*x1
x_train = cbind(x1, x2)
y = 100*x1 + 100 + runif(1)
ridge.mod = cv.glmnet(x_train, y, alpha = 1)
coef(ridge.mod)

#3 x 1 sparse Matrix of class "dgCMatrix"
#                       1
#(Intercept) 1.057426e+02
#x1          9.680073e+01
#x2          3.122502e-15

lasso multicollinearity

— John Hass
sumber

Saya tidak yakin apakah ini simulasi yang baik karena kedua koefisien sebenarnya nol. Sedikit lebih menarik untuk melihat perilaku estimasi koefisien ketika ada hubungan nyata.

— dsaxton

Simulasi ditingkatkan. Saya memberikan simulasi karena saya ingin menjelaskan apa pertanyaan saya. Saya hanya tertarik pada hasil teoretis dari pertanyaan ini.

— John Hass

Saya pikir perilaku tersebut tidak dapat diprediksi karena modelnya tidak dapat diidentifikasi. Artinya, bagaimana prosedur pemasangan model mungkin tahu misalnya itu

β_{1} = 100

$\beta_1 = 100$ dan

β_{2} = 0

$\beta_2 = 0$ daripada

β_{1} = 0

$\beta_1 = 0$ dan

β_{2} = 50

$\beta_2 = 50$ ? Tidak bisa, karena keduanya "benar."

— dsaxton

Saya setuju dengan alasan Anda. Apakah ada cara matematika untuk menggambarkannya?

— John Hass

Saya pikir Anda maksud y = 100*x1 + 100 + runif(100), jika tidak, Anda mendapatkan nomor acak tunggal yang didaur ulang dan ditambahkan secara seragam ke semua entri lainnya.

— Firebug

Jawaban:

Perhatikan itu

\begin{aligned} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} & = ‖ y - β_{1} x_{1} - β_{2} x_{2} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) . \end{aligned}

$\begin{align*} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1 & = \|y - \beta_1 x_1 - \beta_2 x_2 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right). \end{align*}$

Untuk nilai tetap dari koefisien , penaltidiminimalkan ketika . Hal ini karena hukuman pada adalah dua kali sebagai tertimbang! Untuk memasukkan ini ke dalam notasi,memenuhi untuk setiap . Oleh karena itu, estimator laso $\beta_1 + 2\beta_2$ $|\beta_1| + |\beta_2|$ $\beta_1 = 0$ $\beta_1$

\tilde{β} = \arg min_{β : β_{1} + 2 β_{2} = K} | β_{1} | + | β_{2} |

$\tilde\beta = \arg\min_{\beta \, : \, \beta_1 + 2\beta_2 = K}|\beta_1| + |\beta_2|$

{\tilde{β}}_{1} = 0

$\tilde\beta_1 = 0$

K

$K$

\begin{aligned} \hat{β} & = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \arg min_{β \in R^{p}} ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} min_{β \in R^{p} : β_{1} + 2 β_{2} = K} ‖ y - K x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} {‖ y - K x_{1} ‖_{2}^{2} + λ min_{β \in R^{p} : β_{1} + 2 β_{2} = K} {(| β_{1} | + | β_{2} |)}} \end{aligned}

$\begin{align*} \hat\beta & = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \\ & = \arg\min_{\beta \in \mathbb{R}^p} \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \|y - K x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \left\{ \|y - K x_1 \|_2^2 + \lambda \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \left\{ \left( |\beta_1| + |\beta_2| \right) \right\} \right\} \end{align*}$ memuaskan . Alasan mengapa komentar untuk pertanyaan OP menyesatkan adalah karena ada penalti pada model: mereka

{\hat{β}}_{1} = 0

$\hat\beta_1 = 0$

(0, 50)

$(0, 50)$ dan koefisien memberikan kesalahan yang sama, tetapi norma berbeda ! Lebih jauh, tidak perlu melihat sesuatu seperti LAR: hasil ini segera mengikuti dari prinsip pertama.

(100, 0)

$(100,0)$

ℓ_{1}

$\ell_1$

Seperti yang ditunjukkan oleh Firebug, alasan mengapa simulasi Anda menunjukkan hasil yang kontradiktif adalah bahwa glmnetsecara otomatis skala untuk menyamakan varian fitur. Artinya, karena penggunaan glmnet, kami efektif dalam hal . Di sana, penaksir tidak lagi unik: dan keduanya dalam arg min. Memang, ada di untuk sehingga . $x_1 = x_2$ $(100,0)$ $(0,100)$ $(a,b)$ $\arg\min$ $a,b \geq 0$ $a+b = 100$

Dalam hal ini fitur yang sama, glmnetakan konvergen persis dalam satu iterasi: itu soft-threshold koefisien pertama, dan kemudian koefisien kedua soft-threshold menjadi nol.

Ini menjelaskan mengapa simulasi ditemukan khususnya . Memang, koefisien kedua akan selalu nol, terlepas dari urutan fitur-fiturnya. $\hat\beta_2 = 0$

Bukti: Asumsikan WLOG bahwa fitur memenuhi . Keturunan koordinat (algoritma yang digunakan oleh ) menghitung untuk iterasi pertama: diikuti oleh mana . Kemudian, karena $x \in \mathbb{R}^n$ $\|x\|_2 = 1$ glmnet

{\hat{β}}_{1}^{(1)} = S_{λ} (x^{T} y)

$\hat\beta_1^{(1)} = S_\lambda(x^T y)$

\begin{aligned} {\hat{β}}_{2}^{(1)} & = S_{λ} [x^{T} (y - x S_{λ} (x^{T} y))] \\ = S_{λ} [x^{T} y - x^{T} x (x^{T} y + T)] \\ = S_{λ} [- T] \\ = 0, \end{aligned}

$\begin{align*} \hat\beta_2^{(1)} & = S_\lambda \left[ x^T \left( y - x S_\lambda (x^T y) \right) \right] \\ & = S_\lambda \left[ x^T y - x^T x \left( x^T y + T \right) \right] \\ & = S_\lambda \left[ - T \right] \\ & = 0, \end{align*}$

T = {\begin{cases} - λ & if x^{T} y > λ \\ λ & if x^{T} y < - λ \\ 0 & otherwise \end{cases}

$T = \begin{cases} - \lambda & \textrm{ if } x^T y > \lambda \\ \lambda & \textrm{ if } x^T y < -\lambda \\ 0 & \textrm{ otherwise} \end{cases}$

{\hat{β}}_{2}^{(1)} = 0

$\hat\beta_2^{(1)}= 0$ , iterasi kedua penurunan koordinat akan mengulangi perhitungan di atas. Secara induktif, kita melihat bahwa untuk semua iterasi dan . Karena itu akan melaporkan dan karena kriteria penghentian segera tercapai.

{\hat{β}}_{j}^{(i)} = {\hat{β}}_{j}^{(i)}

$\hat\beta_j^{(i)} = \hat\beta_j^{(i)}$

i

$i$

j \in {1, 2}

$j \in \{1,2\}$ glmnet

{\hat{β}}_{1} = {\hat{β}}_{1}^{(1)}

$\hat\beta_1 = \hat\beta_1^{(1)}$

{\hat{β}}_{2} = {\hat{β}}_{2}^{(1)}

$\hat\beta_2 = \hat\beta_2^{(1)}$

— pengguna795305
sumber

glmnetfitur penskalaan diaktifkan secara default, saya cukup yakin. Jadi dan menjadi sama dalam model.

x_{1}

$x_1$

x_{2}

$x_2$

— Firebug

Coba ini sebagai gantinya: ridge.mod=cv.glmnet(x_train,y,alpha=1, standardize = FALSE); coef(ridge.mod)

— Firebug

Itu berhasil! Pemikiran yang bagus, @Febebug! Sekarang koefisien memang menjadi nol. Terima kasih telah berbagi wawasan Anda!

x_{1}

$x_1$

— user795305

Ketika saya menjalankan kembali kode Anda, saya mendapatkan bahwa koefisien secara numerik tidak dapat dibedakan dari nol. $x_2$

Untuk memahami lebih baik mengapa LASSO menetapkan koefisien ke nol, Anda harus melihat hubungan antara LASSO dan Least Angle Regression (LAR). LASSO dapat dilihat sebagai LAR dengan modifikasi khusus.

Algoritma LAR kira-kira seperti ini: Mulai dengan model kosong (kecuali untuk intersep). Kemudian tambahkan variabel prediktor yang paling berkorelasi dengan , katakanlah . Secara bertahap ubah koefisien prediktor itu , hingga sisa berkorelasi sama dengan dan variabel prediktor lain . Kemudian, ubah koefisien dan hingga prediksi ketiga berkorelasi sama dengan sisa dan seterusnya. $y$ $x_j$ $\beta_j$ $y - c - x_j\beta_j$ $x_j$ $x_k$ $x_j$ $x_k$ $x_l$ $y - c - x_j\beta_j -x_k\beta_k$

LASSO dapat dilihat sebagai LAR dengan putaran berikut: segera setelah koefisien prediktor dalam model Anda (prediktor "aktif") menyentuh nol, jatuhkan prediktor dari model tersebut. Inilah yang terjadi ketika Anda regresi pada prediktor collinear: kedua akan ditambahkan ke model pada saat yang sama dan, sebagai koefisien mereka berubah, korelasi masing-masing dengan residual akan berubah secara proporsional, tetapi salah satu prediktor akan mendapatkan menjatuhkan dari set aktif terlebih dahulu karena menyentuh nol pertama. Adapun yang mana dari dua prediktor collinear itu, saya tidak tahu. [EDIT: Ketika Anda membalik urutan dan , Anda dapat melihat bahwa koefisien $y$ $x_1$ $x_2$ $x_1$ diatur ke nol. Jadi algoritma glmnet sepertinya mengatur koefisien tersebut menjadi nol terlebih dahulu yang dipesan kemudian dalam matriks desain.]

Sumber yang menjelaskan hal-hal ini secara lebih rinci adalah Bab 3 dalam "Elemen Pembelajaran Statistik" oleh Friedman, Hastie dan Tibshirani.

— Matthias Schmidtblaicher
sumber