Apakah Bayesian Ridge Regression nama lain dari Bayesian Linear Regression?

Saya mencari tentang Bayesian Ridge Regression di Internet tetapi sebagian besar hasil yang saya dapatkan adalah tentang Bayesian Linear Regression. Saya ingin tahu apakah keduanya sama karena formulanya terlihat sangat mirip

regression bayesian

— Thien
sumber

Regresi Ridge menggunakan regularisasi dengan norma , sedangkan regresi Bayesian , adalah model regresi yang didefinisikan dalam istilah probabilistik, dengan prior eksplisit pada parameter. Pilihan prior dapat memiliki efek regularisasi, misalnya menggunakan prior Laplace untuk koefisien setara dengan regularisasi . Mereka tidak sama, karena regresi ridge adalah semacam model regresi, dan pendekatan Bayesian adalah cara umum untuk mendefinisikan dan memperkirakan model statistik yang dapat diterapkan pada model yang berbeda. $L_2$ $L_1$

Model regresi punggungan didefinisikan sebagai

\underset{β}{a r g m i n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{2}^{2}

$\underset{\beta}{\operatorname{arg\,min}}\; \|y - X\beta\|^2_2 + \lambda \|\beta\|^2_2$

Dalam pengaturan Bayesian, kami memperkirakan distribusi posterior dengan menggunakan teorema Bayes

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta)\,p(\theta)$

Regresi punggungan berarti mengasumsikan kemungkinan Normal dan Normal sebelum parameter. Setelah menjatuhkan konstanta normalisasi, fungsi kepadatan log dari distribusi normal adalah

\begin{aligned} \log p (x | μ, σ) & = \log [\frac{1}{σ \sqrt{2 π}} e^{- \frac{1}{2} {(\frac{x - μ}{σ})}^{2}}] \\ = \log [\frac{1}{σ \sqrt{2 π}}] + \log [e^{- \frac{1}{2} {(\frac{x - μ}{σ})}^{2}}] \\ \propto - \frac{1}{2} {(\frac{x - μ}{σ})}^{2} \\ \propto - \frac{1}{σ^{2}} ‖ x - μ ‖_{2}^{2} \end{aligned}

$\begin{align} \log p(x|\mu,\sigma) &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} }\Big] + \log\Big[e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &\propto -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 \\ &\propto -\frac{1}{\sigma^2} \|x - \mu\|^2_2 \end{align}$

Sekarang Anda dapat melihat bahwa memaksimalkan kemungkinan log normal, dengan prior normal setara dengan meminimalkan kerugian kuadrat, dengan penalti ridge

\begin{aligned} \underset{β}{a r g m a x} & \log N (y | X β, σ) + \log N (0, τ) \\ = \underset{β}{a r g m i n} & - {\log N (y | X β, σ) + \log N (0, τ)} \\ = \underset{β}{a r g m i n} & \frac{1}{σ^{2}} ‖ y - X β ‖_{2}^{2} + \frac{1}{τ^{2}} ‖ β ‖_{2}^{2} \end{aligned}

$\begin{align} \underset{\beta}{\operatorname{arg\,max}}& \; \log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau) \\ = \underset{\beta}{\operatorname{arg\,min}}&\; -\Big\{\log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau)\Big\} \\ = \underset{\beta}{\operatorname{arg\,min}}&\; \frac{1}{\sigma^2}\|y - X\beta\|^2_2 + \frac{1}{\tau^2} \|\beta\|^2_2 \end{align}$

Untuk membaca lebih lanjut tentang regresi ridge dan regularisasi lihat utasnya: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? , dan Masalah apa yang diselesaikan metode penyusutan? , dan Kapan saya harus menggunakan laso vs ridge? , dan Mengapa regresi ridge disebut "ridge", mengapa itu diperlukan, dan apa yang terjadi ketika pergi hingga tak terbatas? $\lambda$ , dan banyak lagi yang kita miliki .

— Tim
sumber

Terima kasih atas jawabannya ! Saya mencoba memahami apa kelebihan norma , penjelasan tentang Scikit agak rumit bagi saya. Alangkah baiknya jika Anda bisa menunjukkan masalah dengan Ordinary Least Squares yang normal

L_{2}

$L_2$

— Thien

@Thien lihat hasil edit untuk beberapa tautan

— Tim