Apakah distribusi beta memiliki konjugat sebelumnya?

34

Saya tahu bahwa distribusi beta adalah konjugat ke binomial. Tapi apa konjugat sebelum beta? Terima kasih.

beta-distribution conjugate-prior

25

Tampaknya Anda sudah menyerah pada konjugasi. Sebagai catatan, satu hal yang saya lihat dilakukan orang (tapi tidak ingat persis di mana, maaf) adalah reparameterisasi seperti ini. Jika bersyarat iid, diberi , sehingga , ingat bahwa dan Karenanya, Anda dapat mengulangi kemungkinan dalam hal dan dan menggunakannya sebagai sebelumnya $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Sekarang Anda siap untuk menghitung posterior dan menjelajahinya dengan metode komputasi favorit Anda.

— Zen
sumber

4

Tidak, bukan MCMC hal ini! Quadrature hal ini! hanya 2 parameter - quadrature adalah "standar emas" untuk eksterior berdimensi kecil, baik untuk waktu maupun akurasi.

— probabilityislogic

3

Pilihan lain adalah menganggap sebagai ukuran ketepatan, dan sekali lagi gunakan sebagai nilai tengah. Ini dilakukan setiap saat dengan proses Dirichlet, dan distribusi beta adalah kasus khusus. Jadi mungkin melempar gamma atau log-normal sebelum dan seragam di .

ψ = α + β

$\psi = \alpha + \beta$

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— pria

2

Yang pasti, ini bukan konjugat, benar?

— pria

3

Tentu saja tidak!

— Zen

Hai @ Zen saya sedang berurusan dengan masalah ini sekarang, tapi saya baru di Bayesian dan saya tidak yakin apakah saya memahami ide itu. Saya menemukan bahwa Anda ingin menemukan dan kemudian menggunakan reparametrization, tetapi tentu saja itu bukan tolong, tolong bantu saya untuk mengerti?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Ya, ia memiliki konjugat sebelumnya dalam keluarga eksponensial. Pertimbangkan tiga keluarga parameter Untuk beberapa nilai ini dapat diintegrasikan, walaupun saya belum tahu yang mana (saya percaya dan harus bekerja - sesuai dengan distribusi eksponensial independen sehingga pasti berfungsi, dan pembaruan konjugat melibatkan penambahan jadi ini menyarankan berfungsi).

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

p

$p$

p > 0

$p > 0$

Masalahnya, dan setidaknya sebagian alasan mengapa tidak ada yang menggunakannya, adalah bahwa yaitu konstanta normalisasi tidak memiliki bentuk tertutup.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— orang
sumber

Ah. Itu bermasalah. Saya akan mencari versi konjugasi yang kurang informasi sebelumnya, jadi sepertinya saya mungkin juga memulai dengan prior uniform atas dua parameter. Terima kasih.

— Brash Equilibrium

Anda tidak perlu menormalkannya jika Anda hanya membandingkan kemungkinan ...

— Neil G

Saya pikir Anda mungkin kehilangan aksi

dalam jangka waktu

Anda juga. Mungkin seharusnya

, dll.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@NeilG

ada di

, Anda hanya perlu mengekspresikan hal-hal dalam bentuk

bukan

. Melakukan

hanya reparmetrization, itu tidak mengubah apa pun. Tidak yakin apa yang Anda maksud "hanya membandingkan kemungkinan". Anda tidak dapat menerapkan sampler Gibbs dengan ini sebelumnya tanpa menggunakan sesuatu seperti Metropolis, yang membunuh keuntungan konjugasi kondisional, konstanta normalisasi bergantung pada

dan

yang membunuh menempatkan prioritas sebelumnya atau memperkirakannya dengan metode kemungkinan, dll. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— guy

2

@NeilG integral lebih dari

dan

karena itu adalah variabel acak.

α

$\alpha$

β

$\beta$

— pria

9

Secara teori harus ada konjugat sebelum distribusi beta. Hal ini karena

distribusi beta adalah salah satu distribusi keluarga eksponensial , dan
dalam teori itu seharusnya dimungkinkan untuk mendapatkan prior. Lihat, misalnya, wikipedia , kuliah D Blei tentang keluarga eksponensial .

Namun derivasi tersebut terlihat sulit, dan mengutip Keluarga Eksponensial A Bouchard-Cote dan Prijinal Conjugate

Pengamatan penting untuk dibuat adalah bahwa resep ini tidak selalu menghasilkan konjugat sebelum komputasional.

Konsisten dengan ini, tidak ada pendahuluan untuk distribusi Beta di D Fink's A Compendium of Conjugate Priors .

— TooTone
sumber

3

Derivasi ini tidak sulit - Lihat jawaban saya: mathoverflow.net/questions/63496/…

— Neil G

3

Saya tidak percaya ada distribusi "standar" (yaitu, keluarga eksponensial) yang merupakan konjugat sebelum distribusi beta. Namun, jika ada, itu harus menjadi distribusi bivariat.

Saya tidak tahu tentang pertanyaan ini, tetapi saya memang menemukan peta sebelumnya yang berguna konjugat ini yang tampaknya mendukung jawaban Anda: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

Sebelumnya konjugat dalam keluarga eksponensial dan memiliki tiga parameter - bukan dua.

— Neil G

1

@ Neil, Anda pasti benar. Saya kira saya seharusnya mengatakan itu harus memiliki setidaknya dua parameter.

-1: jawaban ini jelas salah dalam klaim bahwa "konjugat sebelumnya tidak ada dalam keluarga eksponensial", seperti yang ditunjukkan dalam jawaban di atas ...

— Jan Kukacka

3

Robert dan Casella (RC) menggambarkan keluarga konjugasi prior dari distribusi beta dalam Contoh 3.6 (p 71 - 75) dari buku mereka, Memperkenalkan Metode Monte Carlo di R , Springer, 2010. Namun, mereka mengutip hasilnya tanpa mengutip sumber.

$B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

$\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

$\pi(\alpha,\beta \vert x)$ $x$

— pengguna37239
sumber

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Saya dengan rendah hati merekomendasikan bahwa poster asli memperbarui pos untuk menunjukkan bahwa posterior yang diberikan dalam buku teks salah, menurut komentar Fred Schoen (yang mudah diverifikasi).

— RMurphy