Bagaimana beta sebelum mempengaruhi posterior di bawah kemungkinan binomial

Saya punya dua pertanyaan,

Pertanyaan 1: Bagaimana saya bisa menunjukkan bahwa distribusi posterior adalah distribusi beta jika kemungkinannya adalah binomial dan yang sebelumnya adalah beta

Pertanyaan 2: Bagaimana pilihan parameter sebelumnya mempengaruhi posterior? Bukankah seharusnya mereka semua sama?

Apakah mungkin untuk menjawab pertanyaan-pertanyaan ini dalam R?

Untuk menjawab pertanyaan pertama Anda, kami hanya perlu menggunakan Teorema Bayes untuk memperbarui kemungkinan binomial kami dengan beta sebelumnya. Untuk lebih memahami bagaimana melakukan ini, pertama-tama perhatikan hasil berikut

$$p(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)p(\theta)}{\int_{\Theta}p(\mathbf{x}|\theta)p(\theta)d\theta}\propto p(\mathbf{x}|\theta)p(\theta)$$ di mana kita dapat menggunakan hasil proporsionalitas karena distribusi beta adalah konjugat sebelum kemungkinan binomial.

Sekarang, mari $x_i\sim\text{Binomial}(N_i,\theta)$ dan $\theta\sim\text{Beta}(\alpha,\beta)$. Kita sekarang dapat menggunakan Teorema Bayes untuk menghitung posterior sebagai berikut:

$$\begin{align} p(\theta|\mathbf{x})&\propto p(\mathbf{x}|\theta)p(\theta)\\ &\\ &\propto \binom{N}{x_i}\theta^{s}(1-\theta)^{N-s}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto \theta^{s}(1-\theta)^{N-s}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto\theta^{\alpha+s-1}(1-\theta)^{\beta+N-s-1} \end{align}$$ di mana dan$s=\sum_{i=1}^nx_i$$N=\sum_{i=1}^nN_i$

Sekarang, kami mengenali sisi kanan proporsional dari persamaan sebagai kernel dari distribusi beta lain dengan parameter yang diperbarui dan

$$\alpha^*=\alpha+\sum_{i=1}^nx_i$$ $$\beta^*=\beta+\sum_{i=1}^nN_i-\sum_{i=1}^nx_i$$

Sekarang untuk bagian kedua dari masalah Anda, pertimbangkan grafik berikut dari posteriors yang diberikan distribusi sebelumnya yang berbeda.

Plot di atas terdiri dari lima distribusi sebelumnya yang berbeda:

$$\begin{align*} \text{Prior }1&:\,\,\theta\sim\text{Beta}(.5,.5)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(5,1)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(1,3)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,2)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,5) \end{align*}$$

Sekarang meskipun distribusi posterior tampaknya tidak banyak berubah oleh pilihan sebelumnya dalam situasi ini, ini tidak selalu terjadi. Sebagai contoh, jika kita mengambil sampel dari distribusi Binomial (dalam kode) di mana kita akan melihat bahwa distribusi posterior secara drastis diubah oleh pilihan distribusi sebelumnya.$N=2$

Berikut adalah Rkode yang digunakan untuk menghasilkan semuanya:

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}