Statistik bayesian seragam binomial sebelumnya

Misalkan memiliki distribusi binomial di mana parameter sebelumnya seragam. Bagaimana saya bisa mendapatkan distribusi parameter posterior?

Ini sangat sederhana untuk dilakukan jika Anda menggunakan distribusi sebelumnya yang terkonjugasi ke fungsi kemungkinan Binomial. Suatu prior dan likelihood dikatakan konjugat ketika distribusi posterior yang dihasilkan adalah tipe distribusi yang sama seperti sebelumnya. Ini berarti bahwa jika Anda memiliki data binomial Anda dapat menggunakan beta sebelum mendapatkan beta posterior. Konjugasi prior tidak diperlukan untuk melakukan pembaruan bayesian, tetapi mereka membuat perhitungan jauh lebih mudah sehingga mereka bagus untuk digunakan jika Anda bisa.

Beta prior memiliki dua parameter bentuk yang menentukan seperti apa bentuknya, dan dinotasikan sebagai Beta (α, β). Mengambil sebelum Anda untuk p (probabilitas keberhasilan) sebagai seragam sama dengan menggunakan distribusi Beta dengan kedua parameter ditetapkan ke 1.

Untuk mendapatkan posterior, cukup gunakan aturan Bayes:

Posterior Prior x Kemungkinan$\propto$

Posterior sebanding dengan kemungkinan dikalikan dengan yang sebelumnya. Apa yang baik tentang bekerja dengan distribusi konjugasi adalah bahwa pembaruan Bayesian benar-benar sederhana seperti aljabar dasar. Kami mengambil rumus untuk fungsi kemungkinan binomial,

$Binomial Likelihood \propto p^x (1-p)^{n-x}$

di mana x adalah jumlah keberhasilan dalam n percobaan. dan kemudian gandakan dengan rumus untuk beta sebelum dengan parameter bentuk α dan β,

$Beta Prior \propto p^{\alpha-1} (1-p)^{\beta-1}$

untuk mendapatkan formula berikut untuk posterior,

$Beta Posterior \propto p^x(1-p)^{n-x}p^{\alpha-1}(1-p)^{\beta-1}$

Anda akan melihat bahwa kami mengalikan istilah-istilah dengan basis yang sama, yang berarti eksponen dapat ditambahkan bersama-sama. Jadi rumus posterior dapat ditulis ulang sebagai,

$Beta Posterior \propto p^xp^{\alpha-1}(1-p)^{n-x}(1-p)^{\beta-1}$

yang menyederhanakan untuk,

$Beta Posterior \propto p^{x+\alpha-1}(1-p)^{n-x+\beta-1}$

Yang berjumlah: Ambil yang sebelumnya, tambahkan keberhasilan dan kegagalan untuk eksponen yang berbeda, dan voila. Dengan kata lain, Anda mengambil prior, Beta (α, β), dan menambahkan keberhasilan dari data, x, ke dan kegagalan, n - x, ke , dan ada posterior Anda, Beta ( + x, + nx).$\alpha$$\beta$$\alpha$$\beta$

Ketika Anda mulai dengan Beta (1,1) sebagai sebelum posterior Anda akan memiliki bentuk yang tepat dari kemungkinan Binomial, dan posterior ditulis Beta (1 + x, 1 + nx).

Grafik

Jika Anda mulai dengan seragam sebelumnya, Beta (1,1), yang terlihat seperti ini:

Jika Anda memiliki 13 keberhasilan dalam 25 percobaan, posterior baru adalah Beta (1 + 13,1 + 12) atau Beta (14,13), ditunjukkan di bawah ini:

Ada kode untuk membuat grafik seperti ini dan yang lainnya di blog saya, di sini .