Memahami konjugat Beta sebelumnya dalam inferensi Bayesian tentang frekuensi

11

Berikut ini adalah kutipan dari Pengantar Bolstad untuk Statistik Bayesian .

Untuk Anda yang ahli di luar sana, ini mungkin sepele tapi saya tidak mengerti bagaimana penulis menyimpulkan bahwa kami tidak perlu melakukan integrasi untuk menghitung probabilitas posterior untuk beberapa nilai . Saya mengerti ungkapan kedua yang proporsionalitas dan dari mana semua istilah itu berasal ( kemungkinan x Sebelumnya) . Selain itu, saya mengerti, kita tidak perlu khawatir tentang penyebutnya karena hanya pembilangnya yang berbanding lurus. Tetapi beralih ke persamaan ketiga , bukankah kita lupa tentang penyebut Aturan Bayes? Kemana perginya ? Dan nilai yang dihitung oleh fungsi Gamma, bukankah itu konstan? Bukankah konstanta membatalkan teorema Bayes? $\pi$

— Jenna Maiz
sumber

5

Hanya ada satu konstanta yang mungkin, yaitu yang membuat fungsi menjadi probabilitas kepadatan.

— Xi'an

10

Intinya adalah bahwa kita tahu apa yang posterior sebanding dengan dan kebetulan bahwa kita tidak perlu melakukan integrasi untuk mendapatkan penyebut (konstan), karena kami menyadari bahwa distribusi dengan fungsi kerapatan probabilitas sebanding dengan (seperti posterior) adalah distribusi beta. Karena konstanta normalisasi untuk beta pdf tersebut adalah , kami mendapatkan pdf posterior tanpa integrasi. Dan ya, konstanta normalisasi dalam teorema Bayes adalah konstanta (mengingat data yang diamati dan asumsi sebelumnya) seperti konstanta normalisasi untuk kerapatan posterior. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Björn
sumber

8

Pengaturan

Anda memiliki model ini: Kepadatan yang

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

dan dalam catatan khusus yang

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

Versi implisit

Sekarang. Distribusi posterior sebanding dengan sebelumnya dikalikan dengan kemungkinan . Kita dapat mengabaikan konstanta (yaitu hal-hal yang bukan ), menghasilkan: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Ini memiliki 'bentuk' dari distribusi beta dengan parameter dan , dan kita tahu apa konstanta normalisasi terkait untuk distribusi beta dengan parameter tersebut adalah: . Atau, dalam hal fungsi gamma, Dengan kata lain kita bisa melakukan sedikit lebih baik daripada hubungan proporsional tanpa kerja keras tambahan, dan langsung menuju kesetaraan: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Jadi seseorang dapat menggunakan pengetahuan tentang struktur distribusi beta untuk dengan mudah memulihkan ekspresi posterior, daripada melalui beberapa integrasi yang berantakan dan sejenisnya.

Ini semacam berkeliling ke posterior penuh dengan secara implisit membatalkan konstanta normalisasi distribusi bersama, yang dapat membingungkan.

Versi eksplisit

Anda juga bisa mengerjakan sesuatu secara prosedural, yang bisa lebih jelas.

Sebenarnya tidak terlalu lama. Perhatikan bahwa kita dapat mengekspresikan distribusi bersama sebagai dan distribusi marginal sebagai

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Jadi kita dapat mengekspresikan posterior menggunakan teorema Bayes dengan yang merupakan hal yang sama yang kita dapatkan sebelumnya.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
sumber

7

Keterangan Umum

Untuk membuat jawaban yang diberikan oleh @ Björn sedikit lebih eksplisit dan pada saat yang sama lebih umum, kita harus ingat bahwa kami tiba di Teorema Bayes dari

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom)

di mana mewakili data yang diamati dan parameter tidak diketahui kami, kami ingin membuat kesimpulan probabilistik tentang - dalam kasus pertanyaan parameter adalah frekuensi yang tidak diketahui . Jangan khawatir untuk sekarang apakah kita berbicara tentang vektor atau skalar agar tetap sederhana. $X$ $\theta$ $\pi$

Marginalisasi dalam kasus kontinu mengarah pada

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

di mana distribusi gabungan sama dengan seperti yang telah kita lihat di atas. Ini adalah konstanta karena setelah 'mengintegrasikan' parameter itu hanya tergantung pada syarat konstan . $p(X,\theta)$ $likelihood \times prior$

Oleh karena itu kita dapat memformulasikan Teorema Bayes sebagai

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ dengan $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

dan dengan demikian sampai pada bentuk proporsionalitas biasa dari Bayes Theorem .

Aplikasi untuk masalah tangan

Sekarang kita siap untuk cukup memasukkan apa yang kita ketahui karena dalam kasus pertanyaan adalah dari formulir $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

di mana , dan di mana mengumpulkan istilah konstan dari kemungkinan binomial dan beta sebelumnya. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Kita sekarang dapat menggunakan jawaban yang diberikan oleh @ Björn untuk menemukan bahwa ini terintegrasi ke fungsi Beta dikalikan pengumpulan suku konstan sehingga $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Perhatikan, bahwa setiap istilah konstan dalam distribusi bersama akan selalu dibatalkan, karena akan muncul di nominator dan penyebut pada saat yang sama (lih. Jawaban yang diberikan oleh @jtobin) sehingga kita benar-benar tidak perlu repot.

Dengan demikian kami menyadari bahwa distribusi posterior kami sebenarnya adalah distribusi beta di mana kami dapat dengan mudah memperbarui parameter sebelumnya dan untuk sampai di posterior. Inilah sebabnya mengapa beta terdistribusi sebelum disebut konjugat sebelumnya . $a' = a+y$ $b' = b+n-y$

— gwr
sumber

Alasan ini mirip dengan versi implisit jtobin. Kami hanya melihat bagian dari kemungkinan kali sebelumnya yang berisi parameter dan mengumpulkan semua yang lainnya dalam konstanta normalisasi. Jadi kita melihat integrasi hanya sebagai langkah terakhir yang sah, karena konstanta dibatalkan seperti yang telah ditunjukkan jtobin dalam versi eksplisitnya.

— gwr