Mengapa parameterisasi yang berlebihan mempercepat Gibbs MCMC?

Dalam buku Gelman & Hill (2007) (Analisis Data Menggunakan Regresi dan Multilevel / Model Hirarki), para penulis mengklaim bahwa memasukkan parameter rata-rata redundan dapat membantu mempercepat MCMC.

Contoh yang diberikan adalah model "simulator penerbangan" yang tidak bersarang (Persamaan 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Mereka merekomendasikan reparameterisasi, menambahkan parameter rata-rata dan sebagai berikut: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Satu-satunya pembenaran yang ditawarkan adalah bahwa (hal. 420):

Dimungkinkan untuk simulasi terjebak dalam konfigurasi di mana seluruh vektor (atau ) jauh dari nol (walaupun mereka diberikan distribusi dengan rata-rata 0). Pada akhirnya, simulasi akan menyatu ke distribusi yang benar, tetapi kami tidak ingin harus menunggu. $\gamma$ $\delta$

Bagaimana parameter rata-rata redundan membantu mengatasi masalah ini?

Sepertinya saya bahwa model non-bersarang lambat terutama karena dan berkorelasi negatif. (Memang, jika satu naik, yang lain harus turun, mengingat bahwa jumlah mereka "ditetapkan" oleh data). Apakah parameter rata-rata yang berlebihan membantu mengurangi korelasi antara dan , atau sesuatu yang lain sama sekali? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Heisenberg
sumber

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

Saya ingin wawasan intuitif tentang konsep pemusatan hierarkis secara umum (karena kasus khusus dalam pertanyaan secara langsung merupakan aplikasi pemusatan hierarkis). Poin kunci yang ingin saya ketahui adalah: mengapa pemusatan hierarki berfungsi jika varians pada level grup adalah bagian yang cukup besar dari total varians ? Makalah oleh Gelfand et al. membuktikan ini secara matematis (yaitu memperoleh korelasi dan menemukan perilaku pembatasnya), tetapi tanpa penjelasan intuitif.

— Heisenberg

$\mu$ $\gamma_j$ $\delta_k$

$\gamma_j$ $\delta_k$ $\mu$

Lihat untuk deskripsi yang sangat jelas, bagian 25.1 'Apa itu pemusatan hierarki?' dalam buku (tersedia gratis) 'estimasi MCMC dalam MLwiN' oleh William J. Browne dan lainnya. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
sumber

Bagian 25.1 dari 'estimasi MCMC MlwiN' memang menggambarkan teknik "hierarkis centering" ini, tetapi tidak masuk ke rincian lebih jauh daripada mengklaim bahwa itu berfungsi. Menggali rujukannya, saya menemukan bahwa bukti sebenarnya dari teknik ini disajikan dalam artikel Parameter efisien untuk model campuran linier normal , oleh Gelfand et al, Biometrika vol 82 edisi 3.

— Heisenberg

Artikel di atas pada gilirannya memanfaatkan properti distribusi normal tanpa menjelaskan. Saya menemukan bukti properti-properti itu dalam analisis Conjugate Bayesian tentang distribusi Gaussian oleh Kevin Murphy.

— Heisenberg

Sayangnya, saya masih belum melihat penjelasan intuitif tentang mengapa teknik ini berhasil.

— Heisenberg

Sudah terlambat tapi saya pikir makalah ini mungkin apa yang Anda cari

— baruuum