Adakah yang bisa menjelaskan prior konjugasi dalam istilah yang paling sederhana?

Saya telah mencoba untuk memahami ide konjugasi prior dalam statistik Bayesian untuk sementara waktu tetapi saya tidak mengerti. Adakah yang bisa menjelaskan ide dalam istilah yang paling sederhana, mungkin menggunakan "Gaussian prior" sebagai contoh?

Sebelum untuk parameter hampir selalu memiliki beberapa bentuk fungsional spesifik (biasanya ditulis dalam bentuk kepadatan). Katakanlah kita membatasi diri pada satu keluarga distribusi tertentu, yang dalam hal memilih sebelumnya kita mengurangi untuk memilih parameter keluarga itu.

Sebagai contoh, pertimbangkan model normal . Untuk kesederhanaan, mari kita ambil seperti yang diketahui. Bagian dari model ini - model untuk data - menentukan fungsi kemungkinan.σ $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$$\sigma^2$

Untuk melengkapi model Bayesian kami, di sini kami membutuhkan prior untuk .$\mu$

Seperti disebutkan di atas, biasanya kita dapat menentukan beberapa keluarga distribusi untuk prior untuk dan kemudian kita hanya perlu memilih parameter distribusi itu (misalnya, informasi sebelumnya sering mungkin agak kabur - seperti kira-kira di mana kita ingin probabilitas untuk berkonsentrasi - Daripada bentuk fungsional yang sangat spesifik, dan kita mungkin memiliki cukup kebebasan untuk memodelkan apa yang kita inginkan dengan memilih parameter - katakan untuk mencocokkan rata-rata sebelumnya dan varians).$\mu$

Jika ternyata posterior untuk berasal dari keluarga yang sama dengan yang sebelumnya, maka yang sebelumnya dikatakan "konjugat".$\mu$

(Apa yang membuatnya menjadi konjugasi adalah cara menggabungkan dengan kemungkinan)

Jadi dalam hal ini, mari kita ambil Gaussian prior untuk (katakan ). Jika kita melakukan itu, kita melihat bahwa posterior untuk juga Gaussian. Konsekuensinya, prior Gaussian adalah prior konjugat untuk model kami di atas.μ ∼ N ( θ , τ 2 ) $\mu$$\mu\sim N(\theta,\tau^2)$$\mu$

Itu semua yang ada untuk itu benar-benar - jika posterior berasal dari keluarga yang sama dengan sebelumnya, itu adalah konjugat sebelumnya.

Dalam kasus-kasus sederhana, Anda dapat mengidentifikasi konjugat sebelumnya dengan memeriksa kemungkinan. Sebagai contoh, pertimbangkan kemungkinan binomial; menjatuhkan konstanta, sepertinya kepadatan beta di ; dan karena cara kekuatan p dan ( 1 - p ) bergabung, itu akan dikalikan dengan beta sebelum juga memberikan produk dari kekuatan p dan ( 1 - p ) ... sehingga kita dapat melihat langsung dari kemungkinan bahwa beta akan menjadi konjugat sebelum p dalam kemungkinan binomial.$p$$p$$(1-p)$$p$$(1-p)$$p$

Dalam kasus Gaussian, paling mudah untuk melihat bahwa hal itu akan terjadi dengan mempertimbangkan kepadatan log dan kemungkinan log; log-likelihood akan kuadratik dalam dan jumlah dua kuadrat adalah kuadrat, sehingga log kuadrat-sebelum + kuadrat log-kemungkinan memberikan posterior kuadratik (masing-masing koefisien dari istilah orde tertinggi tentu saja akan negatif).$\mu$

Jika model Anda milik keluarga eksponensial , yaitu, jika kepadatan distribusi dalam bentuk

$$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$$ sehubungan denganukuran mendominasi diberikan(Lebesgue, menghitung, & tc.), di mana$t\cdot s$ menunjukkan suatu skalar produk lebih$\mathbb{R}^d$ dan $$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$$ adalah fungsi yang dapat diukur, prior konjugat pada$\theta$ ditentukan oleh kepadatan bentuk $$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$$ [sehubungan denganukuran mendominasi yang dipilih secarasewenang-wenang$\text{d}\nu$ pada$\Theta$ ] dengan $$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$$ dan$\lambda\in\Lambda\subset\mathbb{R}_+$ ,$\xi\in\Xi\subset \lambda T(\mathcal{X})$

Pilihan ukuran yang mendominasi sangat menentukan bagi keluarga prior. Jika misalnya seseorang menghadapi kemungkinan rata-rata Normal pada $\mu$ seperti dalam jawaban Glen_b , memilih ukuran Lebesgue $\text{d}\mu$ sebagai ukuran mendominasi menyebabkan nilai Normal terkonjugasi. Jika sebaliknya seseorang memilih $(1+\mu^2)^{-2}\text{d}\mu$ sebagai ukuran yang mendominasi, prior konjugat berada dalam keluarga distribusi dengan kepadatan

$$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$$ sehubungan dengan ukuran yang mendominasi ini, dan dengan demikian tidak lagi menjadi prior Normal. Kesulitan ini pada dasarnya sama dengan yang memilih parameterisasi tertentu dari kemungkinan dan memilih untuk ukuran Lebesgue untuk parameterisasi ini. Ketika dihadapkan dengan fungsi kemungkinan, tidak ada ukuran yang mendominasi (atau intrinsik atau referensi) pada ruang parameter.

Di luar pengaturan keluarga eksponensial ini, tidak ada keluarga distribusi non-sepele dengan dukungan tetap yang memungkinkan untuk pasangan konjugasi. Ini adalah konsekuensi dari lemma Darmois-Pitman-Koopman .

Saya suka menggunakan gagasan "kernel" dari suatu distribusi. Di sinilah Anda hanya meninggalkan bagian-bagian yang bergantung pada parameter. Beberapa contoh sederhana.

Kernel normal

$$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$$ Di mana$K$ adalah "konstanta normalisasi"$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ Sambungan dengan parameter mean / varians standar adalah$E(\mu|a,b)=-\frac{b}{2a}$ dan$Var(\mu|a,b)=-\frac{1}{2a}$

Kernel beta

$$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$$ Di mana$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

Ketika kita melihat fungsi kemungkinan, kita dapat melakukan hal yang sama, dan mengekspresikannya dalam "bentuk kernel". Misalnya dengan data iid

$$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$$

Untuk beberapa $Q$ konstan dan beberapa fungsi $f(\mu)$ . Jika kita dapat mengenali fungsi ini sebagai kernel, maka kita dapat membuat konjugasi sebelum kemungkinan itu. Jika kita mengambil kemungkinan normal dengan varian unit, yang di atas terlihat seperti

$$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$, so a conjugate prior for this likelihood is also the normal distribution.

$$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$$ The posterior is then $$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$