Regulator L2 setara dengan Gaussian Prior

56

Saya terus membaca ini dan secara intuitif saya bisa melihat ini, tetapi bagaimana orang beralih dari regularisasi L2 ke mengatakan bahwa ini adalah Gaussian Prior secara analitik? Hal yang sama berlaku untuk mengatakan L1 setara dengan Laplacean sebelumnya.

Referensi lebih lanjut akan bagus.

regression references regularization

— Anonim, tanpa nama
sumber

54

Mari kita bayangkan bahwa Anda ingin menyimpulkan beberapa parameter dari beberapa pasangan input-output yang diamati . Mari kita asumsikan bahwa output terkait secara linear dengan input melalui dan bahwa data rusak oleh beberapa noise : $\beta$ $(x_1,y_1)\dots,(x_N,y_N)$ $\beta$ $\epsilon$

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

di mana adalah Gaussian noise dengan rata-rata dan varians . Ini memunculkan kemungkinan Gaussian: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

Mari kita mengatur parameter dengan memaksakan Gaussian prior mana adalah skalar yang benar-benar positif. Oleh karena itu, menggabungkan kemungkinan dan sebelumnya kita hanya memiliki: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

Mari kita ambil logaritma dari ungkapan di atas. Menjatuhkan konstanta kita dapatkan:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

Jika kita memaksimalkan ekspresi di atas sehubungan dengan , kita mendapatkan perkiraan a-posteriori maksimum untuk , atau estimasi MAP untuk pendek. Dalam ungkapan ini menjadi jelas mengapa Gaussian prior dapat diartikan sebagai istilah regularisasi L2. $\beta$ $\beta$

Demikian pula hubungan antara norma L1 dan Laplace sebelumnya dapat dipahami dengan cara yang sama. Ambil alih-alih Gaussian prior, Laplace prior menggabungkannya dengan kemungkinan Anda dan ambil logaritma.

Referensi yang bagus (mungkin sedikit maju) yang merinci kedua masalah ini adalah makalah "Adarsive Sparseness for Supervised Learning", yang saat ini tampaknya tidak mudah ditemukan secara online. Atau lihat "Adaptive Sparseness using Jeffreys Prior" . Referensi lain yang bagus adalah "Klasifikasi On Bayesian dengan prior Laplace" .

— ngiann
sumber

1

Dalam D dimensionkasus regresi linier, dapat betadan sigmamemiliki solusi eksplisit? Saya membaca PRML, dan menemukan persamaan (1.67) di halaman 30 dan tidak tahu bagaimana menyelesaikannya. Dalam kemungkinan maksimum, kami memecahkan betadan kemudian sigmadengan mengatur gradien ke nol. Dalam kuadrat terkecil yang diatur, sejak param reqularisasi lambdadiketahui, kami menyelesaikannya betasecara langsung. Tetapi jika kita langsung memecahkan MAP, apa urutan pemecahan beta, sigma? Bisakah mereka memiliki solusi eksplisit atau kita harus menggunakan proses berulang?

— stackunderflow

Apakah Anda melewatkan "kotak" pada dalam persamaan terakhir yaitu ?

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

— brian.keng

@AdamO Ini membatasi jumlah nilai yang dapat diambil koefisien. Jika prior adalah antara 1-10 misalnya, maka ada probabilitas 0 koefisien mengambil nilai lain yaitu, [-inf to 1] dan [10, + inf].

— imsrgadich

1

Dalam hal ini diketahui. Apakah itu berfungsi ketika tidak diketahui? Untuk regresi linear Bayesian, gamma invers prior dapat digunakan untuk membentuk konjugat sebelum varians. Tapi saya tidak yakin aljabar akan berjumlah ekspresi yang sama.

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

— AdamO

11

Untuk model linear dengan kemungkinan normal multivariate normal dan multivariat normal, Anda berakhir dengan distribusi posterior normal multivariat di mana rata-rata posterior (dan maksimum model posteriori) adalah persis apa yang akan Anda peroleh dengan menggunakan Tikhonov regularized ( regularisasi) kuadrat terkecil dengan parameter regularisasi yang sesuai. $L_{2}$

Perhatikan bahwa ada perbedaan yang lebih mendasar yaitu posterior Bayesian merupakan distribusi probabilitas, sedangkan solusi kuadrat terkecil yang diregulasi Tikhonov adalah estimasi titik tertentu.

Ini dibahas dalam banyak buku tentang metode Bayesian untuk masalah terbalik, Lihat misalnya:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

Demikian pula, jika Anda memiliki kemungkinan Laplacian prior dan multivariate normal, maka maksimum distribusi posterior terjadi pada titik yang bisa Anda peroleh dengan memecahkan masalah kuadrat terkecil yang diatur oleh . $L_{1}$

— Brian Borchers
sumber

9

Pemberitahuan pertama bahwa median meminimalkan norma L1 (lihat di sini atau di sini untuk mempelajari lebih lanjut tentang L1 dan L2)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

sementara mean meminimalkan L2

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

sekarang, ingat bahwa parameter distribusi Normal dapat diperkirakan menggunakan mean sampel , sedangkan estimator MLE untuk parameter distribusi Laplace adalah median. Jadi menggunakan distribusi Normal setara dengan optimasi norma L2 dan menggunakan distribusi Laplace, untuk menggunakan optimasi L1. Dalam praktiknya Anda bisa menganggapnya sebagai median yang kurang sensitif terhadap outlier daripada rata-rata, dan sama, menggunakan distribusi Laplace yang lebih gemuk sebagai prior membuat model Anda lebih rentan terhadap outlier, daripada menggunakan distribusi Normal. $\mu$ $\mu$

Hurley, WJ (2009) Suatu Pendekatan Induktif untuk Menghitung MLE untuk Distribusi Eksponensial Ganda . Jurnal Metode Statistik Terapan Modern: 8 (2), Pasal 25.

— Tim
sumber

Mungkin ini bukan jawaban yang paling ketat secara matematis yang diberikan di sini, tapi ini jelas yang paling mudah, paling intuitif untuk pemula dalam regularisasi L1 / L2 untuk dipahami.

— SQLServerSteve

8

Untuk masalah regresi dengan variabel (tanpa intersepsi), Anda melakukan OLS $k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

Dalam regresi yang diatur dengan penalti Anda lakukan $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

Kita bisa melakukan hal yang sama (perhatikan tanda perubahan)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

Ini secara langsung berkaitan dengan prinsip Bayesian

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

atau setara (dalam kondisi keteraturan)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

Sekarang tidak sulit untuk melihat distribusi keluarga eksponensial mana yang sesuai dengan jenis hukuman apa.

— Georg M. Goerg
sumber

3

Untuk menempatkan kesetaraan lebih tepat:

Mengoptimalkan bobot model untuk meminimalkan fungsi kerugian kesalahan kuadrat dengan regularisasi L2 setara dengan menemukan bobot yang paling mungkin di bawah distribusi posterior yang dievaluasi menggunakan aturan Bayes, dengan bobot Gaussian independen rata-rata nol sebelum

Bukti:

Fungsi kerugian seperti dijelaskan di atas akan diberikan oleh

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

Perhatikan bahwa distribusi untuk Gaussian multivarian adalah

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

Menggunakan aturan Bayes, kita memilikinya

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

Di mana kita dapat membagi Guassian multi-dimensi menjadi produk, karena kovarians adalah kelipatan dari matriks identitas.

Ambil probabilitas log negatif

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

Tentu saja kita dapat menghilangkan konstanta, dan mengalikannya dengan jumlah berapa pun tanpa secara fundamental memengaruhi fungsi kerugian. (konstan tidak melakukan apa-apa, perkalian secara efektif menskalakan tingkat pembelajaran. Tidak akan mempengaruhi lokasi minima) Jadi kita dapat melihat bahwa probabilitas log negatif dari distribusi posterior adalah fungsi kerugian setara dengan fungsi kehilangan kesalahan kuadrat teregulasi L2 yang diatur.

Ekuivalensi ini bersifat umum dan berlaku untuk fungsi bobot parameter apa pun - bukan hanya regresi linier seperti yang tampaknya tersirat di atas.

— nickelnine37
sumber

1

Ada dua karakteristik pemodelan Bayesian yang perlu ditekankan, ketika membahas kesetaraan estimasi kemungkinan maksimum tertentu yang dihukum dan prosedur Bayesian.

Dalam kerangka Bayesian, prior dipilih berdasarkan spesifik masalah dan tidak termotivasi oleh kemanfaatan komputasi. Oleh karena itu, Bayesian menggunakan berbagai prior termasuk tapal kuda yang sekarang populer sebelum masalah prediktor jarang, dan tidak perlu terlalu bergantung pada prior yang setara dengan hukuman L1 atau L2.
Dengan pendekatan Bayesian lengkap, Anda memiliki akses ke semua prosedur inferensial setelah selesai. Misalnya Anda dapat mengukur bukti untuk koefisien regresi besar dan Anda bisa mendapatkan interval kredibel pada koefisien regresi dan nilai prediksi keseluruhan. Dalam kerangka kerja frequentist, setelah Anda memilih hukuman Anda kehilangan semua mesin inferensial.

— Frank Harrell
sumber