Datar, konjugat, dan hiperpriors. Apakah mereka?

Saat ini saya membaca tentang Metode Bayesian dalam Komputasi Evolusi Molekul oleh Yang. Dalam bagian 5.2 ini berbicara tentang prior, dan secara khusus Non-informatif / flat / samar-samar / menyebar, konjugat, dan hiper-prior.

Ini mungkin meminta penyederhanaan yang berlebihan tetapi, dapatkah seseorang menjelaskan secara sederhana perbedaan antara jenis-jenis prior ini dan bagaimana hal itu memengaruhi hasil analisis / keputusan yang akan saya buat selama proses analisis Bayesian?

(Saya bukan ahli statistik dan saya baru memulai jalan untuk mempelajari analisis Bayesian sehingga semakin dalam istilah awam semakin baik)

Sederhananya, flat / non-informatif sebelum digunakan ketika ada sedikit / tidak memiliki pengetahuan tentang data dan karenanya memiliki efek paling kecil pada hasil analisis Anda (yaitu inferensi posterior).

Distribusi konjugasi adalah distribusi yang sebelumnya dan posteriornya sama, dan yang sebelumnya disebut konjugat sebelumnya. Ini disukai untuk kenyamanan aljabar , terutama ketika kemungkinan memiliki distribusi dalam bentuk keluarga eksponensial (Gaussian, Beta, dll.). Ini sangat bermanfaat ketika melakukan simulasi posterior menggunakan sampling Gibbs.

Dan akhirnya bayangkan bahwa distribusi sebelumnya ditetapkan pada parameter dalam model Anda, namun Anda ingin menambahkan tingkat kompleksitas / ketidakpastian lainnya. Anda kemudian akan memaksakan distribusi sebelumnya pada parameter sebelumnya, maka nama hyper -prior.

Saya pikir Analisis Data Bayesian Gelman adalah awal yang baik bagi siapa saja yang tertarik mempelajari statistik Bayesian :)

Pada level tertinggi, kita dapat menganggap segala macam prior sebagai menetapkan sejumlah informasi yang dibawa peneliti tentang analisis di luar data itu sendiri: sebelum melihat data, nilai-nilai parameter mana yang lebih mungkin?

Di zaman kegelapan analisis Bayesian, ketika orang Bayesian memperjuangkannya dengan sering, ada keyakinan bahwa peneliti ingin memperkenalkan sesedikit mungkin informasi kepada analisis melalui prioras mungkin. Jadi ada banyak penelitian dan argumen yang ditujukan untuk memahami bagaimana, tepatnya, prior bisa "tidak informatif" dengan cara ini. Hari ini, Gelman menentang pilihan otomatis dari prior noninformative, mengatakan Analisis Data Bayesianbahwa deskripsi "noninformatif" mencerminkan sikapnya terhadap prior, daripada fitur matematika "khusus" dari prior. (Terlebih lagi, ada pertanyaan dalam literatur awal pada skala berapa sebelum itu tidak informatif. Saya tidak berpikir bahwa ini sangat penting untuk pertanyaan Anda, tetapi untuk contoh yang baik dari argumen ini dari perspektif frequentist, lihat permulaannya. dari Gary King, Unifying Metodologi Politik. )

Sebelumnya "flat" menunjukkan seragam sebelumnya di mana semua nilai dalam rentang memiliki kemungkinan yang sama. Sekali lagi, ada argumen yang bisa didapat tentang apakah ini benar-benar tidak informatif, karena menetapkan bahwa semua nilai sama-sama mungkin, dalam beberapa hal, informasi, dan mungkin sensitif terhadap bagaimana model parameter. Prior datar memiliki sejarah panjang dalam analisis Bayesian, membentang kembali ke Bayes dan Laplace.

Sebelumnya "samar" sangat difus meskipun tidak harus datar, dan itu menyatakan bahwa sejumlah besar nilai yang masuk akal, daripada memusatkan massa probabilitas di sekitar kisaran tertentu. Pada dasarnya, ini adalah prior dengan varian tinggi (apa pun varian "tinggi" dalam konteks Anda).

Conjugate priors memiliki fitur nyaman yang, ketika dikalikan dengan kemungkinan yang tepat, mereka menghasilkan ekspresi bentuk tertutup. Salah satu contohnya adalah beta sebelum dengan kemungkinan binomial, atau gamma sebelum dengan kemungkinan poisson. Ada tabel yang membantu ini di Internet dan Wikipedia. Keluarga eksponensial sangat nyaman dalam hal ini.

Konjugasi prior seringkali merupakan pilihan "default" untuk beberapa masalah karena sifatnya yang nyaman, tetapi ini tidak selalu berarti bahwa mereka adalah yang "terbaik" kecuali pengetahuan sebelumnya seseorang dapat diekspresikan melalui konjugat sebelumnya. Kemajuan dalam komputasi berarti konjugasi tidak semahal seperti dulu (lihat Gibbs sampling vs NUTS), sehingga kita dapat lebih mudah melakukan inferensi dengan prior nonconjugate tanpa masalah.

$N(\mu,\sigma^2)$ sebelum pada parameter dengan fix $\mu$ dan $\sigma^2$, Anda dapat mengungkapkan sebelumnya pada parameter $\mu$ dan prior pada parameter $\sigma^2$. Paling sering, ini digunakan dalam pemodelan hierarkis, ketika Anda percaya bahwa ada fitur umum untuk semua titik data yang dipertanyakan (katakanlah, karena Anda melakukan analisis statistik pada replikasi dari percobaan yang sama), dan variasi dalam data dijelaskan sebagai disebabkan oleh penetapan parameter secara acak dari distribusi umum ini ke titik data.