Mengapa penalti Lasso setara dengan eksponensial ganda (Laplace) sebelumnya?

27

Saya telah membaca di sejumlah referensi bahwa estimasi Lasso untuk parameter vektor regresi setara dengan mode posterior di mana distribusi sebelumnya untuk setiap adalah distribusi eksponensial ganda (juga dikenal sebagai distribusi Laplace). $B$ $B$ $B_i$

Saya telah mencoba untuk membuktikan ini, dapatkah seseorang menyempurnakan detailnya?

— Musim dingin
sumber

@ user777 Saya membolak-balik buku itu untuk sementara waktu hari ini. Tidak dapat menemukan yang relevan.

— Wintermute

3

Terkait: stats.stackexchange.com/questions/177210/…

— Tim

30

Untuk kesederhanaan, mari kita perhatikan pengamatan tunggal dari variabel sehingga $Y$

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ dan sebelumnya yang tidak benar . $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Maka densitas gabungan sebanding dengan $Y, \mu, \sigma^2$

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Mengambil log dan membuang istilah yang tidak melibatkan , $\mu$

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Dengan demikian, maksimum (1) akan menjadi taksiran MAP dan memang merupakan masalah Lasso setelah kami menyusun kembali $\tilde \lambda = \lambda \sigma^2$ .

Ekstensi untuk regresi jelas - ganti dengan dalam kemungkinan Normal, dan tetapkan sebelumnya pada menjadi urutan distribusi independen laplace . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
sumber

25

Ini jelas dengan memeriksa kuantitas yang dioptimalkan oleh LASSO.

Ambil prior untuk agar Laplace independen dengan rata-rata nol dan beberapa skala . $\beta_i$ $\tau$

Jadi . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Model untuk data adalah asumsi regresi biasa . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Sekarang minus dua kali log dari posterior adalah dari formulir

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Biarkan dan kita mendapatkan -posisi $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Penaksir MAP untuk meminimalkan hal di atas, yang meminimalkan $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Jadi penaksir MAP untuk adalah LASSO. $\beta$

(Di sini saya memperlakukan sebagai diperbaiki secara efektif tetapi Anda dapat melakukan hal-hal lain dengannya dan masih membuat LASSO keluar.) $\sigma^2$

Sunting: Itulah yang saya dapatkan untuk menulis jawaban secara offline; Saya tidak melihat jawaban yang baik sudah diposting oleh Andrew. Punyaku benar-benar tidak melakukan apa pun yang belum dilakukannya. Saya akan meninggalkan milik saya untuk saat ini karena memberikan beberapa detail pengembangan dalam hal . $\beta$

— Glen_b -Reinstate Monica
sumber

1

Tampaknya ada perbedaan dalam jawaban Anda dan jawaban Andrew. Jawaban Anda memiliki bentuk regulator yang benar: , sedangkan Andrew memiliki, di mana dalam regresi linier, kita mendapatkan .

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR Saya pikir Anda salah menafsirkan μ dalam jawaban Andrew. ada berhubungan dengan dalam regresi dengan hanya intersep, bukan ke dalam regresi berganda; argumen yang sama mengikuti untuk kasus yang lebih besar (perhatikan persamaan dengan jawaban saya) tetapi lebih mudah untuk mengikuti dalam kasus sederhana. Jawaban Andrew pada dasarnya benar tetapi tidak menghubungkan semua titik ke pertanyaan awal, menyisakan sedikit bagi pembaca untuk diisi. Saya pikir jawaban kami konsisten (hingga beberapa perbedaan kecil terkait σ yang dapat dipertanggungjawabkan) dan bahwa dia sepenuhnya pantas

β_{0}

$\beta_0$

X β

$X\beta$

— dikalahkan