Pemodelan hirarki Bayesian tingkat kejadian

Buku Kevin Murphy membahas masalah Hierarchical Bayesian klasik (awalnya dibahas dalam Johnson and Albert, 1999, p24):

Misalkan kita mencoba memperkirakan tingkat kanker di $N$kota. Di setiap kota, kami mencicipi sejumlah individu$N_i$ dan mengukur jumlah penderita kanker $x_i \sim \text{Bin}(N_i, \theta_i)$dimana $\theta_i$ adalah tingkat kanker sejati di kota.

Kami ingin memperkirakan $\theta_i$Sementara memungkinkan kota-kota miskin data untuk meminjam kekuatan statistik dari kota-kota kaya data.

Untuk melakukannya, ia menjadi model $\theta_i \sim \text{Beta}(a,b)$ sehingga semua kota berbagi sebelumnya yang sama, sehingga model akhir terlihat sebagai berikut:

$p(\mathcal{D}, \theta, \eta|N)=p(\eta)\prod\limits^N_{i=1}\text{Bin}(x_i|N_i, \theta_i)\text{Beta}(\theta_i|\eta)$

dimana $\eta = (a,b)$.

Bagian penting tentang model ini tentu saja (saya kutip), "yang kami simpulkan $\eta=(a,b)$ dari data, karena jika kita hanya menjepitnya ke konstanta, the $\theta_i$ akan mandiri secara kondisional, dan tidak akan ada aliran informasi di antara mereka ".

Saya mencoba model ini di PyMC , tetapi sejauh yang saya mengerti, saya perlu terlebih dahulu$a$ dan $b$ (Saya percaya ini $p(\eta)$atas). Apa yang akan menjadi satu hal yang baik sebelum model ini?

Dalam kasus ini membantu, kode, seperti yang saya miliki sekarang adalah:

bins = dict()
ps   = dict()
for i in range(N_cities):
    ps[i]   = pm.Beta("p_{}".format(i), alpha=a, beta=b)
    bins[i] = pm.Binomial('bin_{}'.format(i), p=ps[i],n=N_trials[i],  value=N_yes[i], observed=True)

mcmc = pm.MCMC([bins, ps])

di mana saya percaya saya membutuhkan prior untuk adan b. Bagaimana saya harus memilih satu?

Masalah serupa didiskusikan dalam Gelman, Bayesian Data Analysis , (edisi ke-2, hal. 128; edisi ke-3 hal. 110). Gelman menyarankan sebelumnya$p(a,b)\propto (a+b)^{-5/2}$, yang secara efektif membatasi "ukuran sampel sebelumnya" $a+b$, dan oleh karena itu beta hyperprior tidak mungkin sangat informatif sendiri. (Sebagai kuantitas$a+b$tumbuh, varian dari distribusi beta menyusut; dalam hal ini, varian sebelumnya yang lebih kecil membatasi "bobot" dari data yang diamati di posterior.) Selain itu, prior ini tidak menetapkan apakah$a>b$, atau sebaliknya, distribusi pasangan yang sesuai $(a,b)$ disimpulkan dari semua data bersama, seperti yang Anda inginkan dalam masalah ini.

Gelman juga menyarankan reparameterisasi model dalam hal logit dari rata-rata $\theta$dan "ukuran sampel" sebelumnya. Jadi alih-alih melakukan inferensi tentang$(a,b)$ secara langsung, masalahnya adalah tentang kesimpulan pada jumlah yang diubah $\text{logit}\left(\frac{a}{a+b}\right)$ dan $\log(a+b)$. Ini mengakui nilai-nilai yang ditransformasikan sebelumnya pada bidang nyata, daripada nilai-nilai sebelumnya yang tidak diubah yang harus benar-benar positif. Juga, ini mencapai kepadatan posterior yang lebih menyebar ketika diplot. Ini membuat grafik yang menyertainya lebih terbaca, yang menurut saya bermanfaat.