Intuisi untuk derajat kebebasan LASSO

Zou et al. "Pada" derajat kebebasan "dari laso" (2007) menunjukkan bahwa jumlah koefisien bukan nol adalah perkiraan yang tidak bias dan konsisten untuk derajat kebebasan laso.

Sepertinya agak berlawanan dengan intuisi saya.

Misalkan kita memiliki model regresi (di mana variabelnya nol rata-rata)

y = β x + ε .

$y=\beta x + \varepsilon.$

Misalkan perkiraan OLS yang tidak dibatasi untuk adalah . Itu kira-kira bisa bertepatan dengan perkiraan LASSO dari untuk intensitas penalti yang sangat rendah. $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Anggap lebih jauh bahwa perkiraan LASSO untuk intensitas penalti tertentu adalah . Misalnya, bisa menjadi "optimal" untuk kumpulan data yang ditemukan menggunakan validasi silang. $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Jika saya mengerti benar, dalam kedua kasus derajat kebebasan adalah 1 karena kedua kali ada satu koefisien regresi nol.

Pertanyaan:

Mengapa derajat kebebasan dalam kedua kasus adalah sama meskipun menunjukkan lebih sedikit "kebebasan" dalam pemasangan daripada ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Referensi:

Zou, Hui, Trevor Hastie, dan Robert Tibshirani. "Pada" derajat kebebasan "dari laso." The Annals of Statistics 35.5 (2007): 2173-2192.

— Richard Hardy
sumber

pertanyaan bagus, itu pantas mendapat perhatian lebih!

— Matifou

Asumsikan kita diberikan satu set pengamatan berdimensi, , . Asumsikan model formulir: mana , , dan menunjukkan produk dalam. Biarkan menjadi perkiraan menggunakan metode fitting (baik OLS atau LASSO untuk tujuan kita). Rumus untuk derajat kebebasan yang diberikan dalam artikel (persamaan 1.2) adalah: $n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Dengan memeriksa formula ini, kami dapat menduga bahwa, sesuai dengan intuisi Anda, DOF sebenarnya untuk LASSO memang akan kurang dari DOF sebenarnya dari OLS; koefisien-penyusutan yang dipengaruhi oleh LASSO harus cenderung mengurangi kovarian.

Sekarang, untuk menjawab pertanyaan Anda, alasan bahwa DOF untuk LASSO sama dengan DOF untuk OLS dalam contoh Anda adalah hanya karena Anda berurusan dengan perkiraan (meskipun yang tidak bias), diperoleh dari dataset tertentu yang diambil dari model , dari nilai DOF yang sebenarnya. Untuk setiap dataset tertentu, perkiraan seperti itu tidak akan sama dengan nilai sebenarnya (terutama karena estimasi tersebut diperlukan bilangan bulat, sedangkan nilai sebenarnya adalah bilangan real pada umumnya).

Namun, ketika perkiraan seperti itu dirata-ratakan atas banyak dataset sampel dari model, oleh ketidakberpihakan dan hukum sejumlah besar seperti rata-rata akan menyatu dengan DOF yang sebenarnya. Dalam kasus LASSO, beberapa set data tersebut akan menghasilkan estimator di mana koefisiennya adalah 0 (walaupun set data seperti itu mungkin langka jika kecil). Dalam kasus OLS, estimasi DOF selalu jumlah koefisien, bukan jumlah koefisien bukan nol, sehingga rata-rata untuk kasus OLS tidak akan mengandung angka nol ini. Ini menunjukkan bagaimana penaksir berbeda, dan bagaimana penaksir rata-rata untuk DOF LASSO dapat konvergen ke sesuatu yang lebih kecil dari penaksir rata-rata untuk DOF OLS. $\lambda$

— e2crawfo
sumber

Terima kasih telah memperbaiki kesalahan dan formulasi yang tidak tepat. Biarkan saya melihat apakah saya mengerti Anda dengan baik. Intinya, jika kami mengulangi percobaan berkali-kali (atau sampel berkali-kali dari populasi yang sama), kami terkadang mendapatkan (koefisien akan menyusut hingga nol) dan rata-rata (melintasi percobaan) Saya akan mendapatkan DoF untuk LASSO sedangkan DoF untuk OLS (jelas).

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

— Richard Hardy

Ngomong-ngomong, mengapa estimasi derajat kebebasan harus bilangan bulat? Benarkah itu? Izinkan saya juga berkomentar bahwa notasi produk dalam tampaknya tidak rumit dan jarang digunakan di situs ini; notasi matriks sudah cukup. Tapi itu pilihanmu, tentu saja.

— Richard Hardy

Ya itu tentang jumlah itu. Perkiraan derajat kebebasan harus menjadi bilangan bulat untuk LASSO (setidaknya untuk satu set data tunggal) hanya karena perkiraannya adalah jumlah koefisien bukan nol.

— e2crawfo

Pernyataan Perkiraan derajat kebebasan harus menjadi bilangan bulat untuk LASSO hanya karena perkiraannya adalah jumlah koefisien non-nol yang tampaknya sangat tautologis bagi saya. Secara umum, saya tidak berpikir df perlu integer, dari definisi df yang Anda tulis. Demikian pula, dalam kasus punggungan, tidak perlu nol.

— Matifou