Ukuran Sampel efektif untuk inferensi posterior dari pengambilan sampel MCMC

Ketika memperoleh sampel MCMC untuk membuat kesimpulan pada parameter tertentu, panduan apa yang baik untuk jumlah minimum sampel efektif yang harus dituju?

Dan, apakah saran ini berubah ketika modelnya menjadi lebih atau kurang kompleks?

— Matt Albrecht
sumber

Dugaan saya adalah bahwa itu mungkin akan tergantung pada "konstan" di

kesalahan, yang akan bervariasi antar model.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— probabilityislogic

Pertanyaan yang Anda ajukan berbeda dari "diagnostik konvergensi". Katakanlah Anda telah menjalankan semua diagnostik konvergensi (pilih favorit Anda), dan sekarang siap untuk memulai pengambilan sampel dari posterior.

Ada dua opsi dalam hal ukuran sampel efektif (ESS), Anda dapat memilih ESS univariat atau ESS multivarian. ESS univariat akan memberikan ukuran sampel yang efektif untuk setiap parameter secara terpisah, dan metode konservatif menentukan, Anda memilih perkiraan terkecil. Metode ini mengabaikan semua korelasi silang antar komponen. Ini mungkin apa yang kebanyakan orang telah gunakan untuk sementara waktu

Baru-baru ini, definisi multivariat tentang ESS diperkenalkan. ESS multivarian mengembalikan satu angka untuk ukuran sampel efektif untuk jumlah yang ingin Anda perkirakan; dan ia melakukannya dengan memperhitungkan semua korelasi silang dalam proses. Secara pribadi, saya jauh lebih suka ESS multivarian. Misalkan Anda tertarik dengan -vector sarana distribusi posterior. MESS didefinisikan sebagai berikut $p$ Sini

kekacauan = n {(\frac{| Λ |}{| Σ |})}^{1 / hal} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

adalah struktur kovarians posterior (juga kovarians asimptotik pada CLT jika Anda memiliki sampel independen) $\Lambda$
adalah matriks kovarians asimptotik dalam rantai Markov CLT (berbeda dari karena sampel berkorelasi. $\Sigma$ $\Lambda$
adalah jumlah kuantitas yang diperkirakan (atau dalam hal ini, dimensi posterior. $p$
adalah penentu. $|\cdot|$

MESS dapat diperkirakan dengan menggunakan matriks kovarians sampel untuk memperkirakan dan batch berarti matriks kovarians untuk memperkirakan . Ini telah dikodekan dalam fungsi di paket R mcmcse . $\Lambda$ $\Sigma$ multiESS

Makalah baru-baru ini memberikan batas bawah yang valid secara teoritis dari jumlah sampel efektif yang diperlukan. Sebelum simulasi, Anda harus memutuskan

$\epsilon$ $\epsilon$
$\alpha$
$p$

kekacauan \geq \frac{2^{2 / hal} π}{(hal Γ (hal / 2))^{2 / hal}} \frac{χ_{1 - α, hal}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Ini berlaku untuk masalah apa pun (dalam kondisi keteraturan). Cara metode ini beradaptasi dari satu masalah ke masalah lainnya adalah bahwa pencampuran rantai Markov secara perlahan membutuhkan waktu lebih lama untuk mencapai batas bawah itu, karena mESS akan lebih kecil. Jadi sekarang Anda dapat memeriksa beberapa kali menggunakan multiESSapakah rantai Markov Anda telah mencapai batas itu; jika tidak pergi dan ambil lebih banyak sampel.

— Greenparker
sumber

(+1) Jawaban yang sangat bagus. Apakah Anda tahu jika fungsi multiESStelah dikodekan untuk bahasa lain, seperti MATLAB? (atau apakah akan sulit untuk menerapkan kembali?)

— lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@ lacerbi Saya senang Anda bisa mengkodekannya di Matlab. Jika memungkinkan, balas komentar ini ketika sudah habis, jadi saya bisa menggunakannya. Terima kasih

— Greenparker

Implementasi multi-MATLAB saya tersedia di sini . Ini versi yang berfungsi meskipun akan membutuhkan pengujian lebih lanjut (saya tidak terbiasa dengan R, kalau tidak saya akan membandingkannya dengan implementasi R).

— lacerbi

Konvergensi tergantung pada beberapa hal: jumlah parameter, model itu sendiri, algoritma pengambilan sampel, data ...

Saya akan menyarankan untuk menghindari aturan umum dan menggunakan beberapa alat diagnostik konvergensi untuk mendeteksi jumlah burn-in dan penipisan iterasi yang sesuai dalam setiap contoh spesifik. Lihat juga http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Monte Cristo
sumber