Apa yang seharusnya menjadi informasi sebelumnya untuk lereng ketika melakukan regresi linier?

10

Ketika melakukan regresi linear bayesian, kita perlu menetapkan prior untuk kemiringan dan mencegat . Karena adalah parameter lokasi, masuk akal untuk menetapkan seragam sebelumnya; Namun, bagi saya tampaknya mirip dengan parameter skala dan tampaknya tidak wajar untuk menetapkan seragam sebelum itu. $a$ $b$ $b$ $a$

Di sisi lain, sepertinya tidak tepat untuk menetapkan Jeffrey yang tidak informatif sebelumnya ( ) untuk kemiringan regresi linier. Untuk satu, itu bisa negatif. Tapi saya gagal melihat apa lagi yang bisa terjadi. $1/a$

Jadi apa yang "tepat" sebelum informasi untuk kemiringan regresi linear bayesian? (Referensi apa pun akan dihargai.)

regression bayesian uninformative-prior

— bagian belakang
sumber

Kemiringan sebenarnya bukan parameter skala - misalnya, bisa negatif. Tidak ada "benar" yang tidak informatif ("informasi rendah" mungkin istilah yang lebih baik) sebelumnya. Ada beberapa pilihan umum, yang mungkin cocok untuk orang yang berbeda atau situasi yang berbeda.

— Glen_b -Reinstate Monica

10

Dari Bayesian Data Analysis 3rd ed., Hlm. 355:

Distribusi sebelum standar noninformatif

Dalam model regresi normal, distribusi sebelumnya noninformatif yang nyaman adalah seragam pada atau, ekuivalen, $(\beta, \log \sigma)$
$p (β, σ^{2} | X) \propto σ^{- 2}$ $p(\beta,\sigma^2|X) \propto\sigma^{-2}$

( merujuk pada para regressor.) Buku ini berisi diskusi lebih lanjut yang bermanfaat di luar ruang lingkup pertanyaan ini: Ketika sebelumnya ini berguna, ketika orang lain lebih cocok, posterior, dan perbandingan dengan perkiraan klasik. $X$

— Sean Easter
sumber

9

Bayesians biasanya memilih prior yang membuat hidup mereka yang menantang secara matematis lebih mudah untuk ditanggung. Ini berarti prior Gaussian, kecuali model itu benar-benar melarangnya. Ingatlah bahwa Anda memerlukan bivariat terlebih dahulu dalam situasi Anda, karena Anda harus memodelkan korelasi antara kemiringan dan lokasi, serta perilaku marginalnya. Normal multivarian adalah tiket Anda.

Gaussian sebelum parameter cocok dengan kesalahan pengukuran Gaussian (tidak diragukan) yang sudah dimiliki oleh model regresi Anda.

Omong-omong, saya tidak mengaitkan lereng dengan parameter skala, karena lereng bisa negatif dan parameter skala tidak bisa.

Sekarang distribusi gaussian bukan informasi sebelumnya yang tidak informatif, tetapi jika Anda benar-benar tidak memiliki informasi sebelumnya, mungkin Anda harus sering berkunjung. Atau gunakan Gaussian dengan varian yang sangat besar.

Saya tidak tahu referensi modern untuk inferensi Bayesian. Dengan risiko menggunakan bazoka untuk menembak kelinci, Anda bisa mencari Rasmussen dan Williams, yang tersedia online . Bagian pertama dari bab 2 membahas regresi Bayesian secara terperinci.

— Placidia
sumber

3

Biasanya seragam yang digunakan sebelum kemiringan dan offset digunakan, namun saya menyukai gagasan untuk meletakkan prior flat pada dan dengan menjadi sudut antara baris dan y = 0. Ini memberikan prioritas yang mendukung kemiringan sekitar nol. Ini diturunkan di http://jakevdp.github.io/blog/2014/06/14/frequentism-and-bayesianism-4-bayesian-in-python/#The-Prior , dan Frequentism and Bayesianism: A Python-driven Primer oleh Jake Vanderblas $\tan^{-1}\left(a\right)$ $b\cos\theta$ $\theta$

p (a, b) = {(1 + a^{2})}^{- 3 / 2}

$p\left(a,b\right) = \left(1+a^2\right)^{-3/2}$

— pengguna2653663
sumber