Menggabungkan beberapa rantai MCMC paralel menjadi satu rantai yang lebih panjang

Mari kita mengatakan bahwa salah satu telah menjalankan rantai paralel MCMC di mana masing-masing rantai memiliki burn-in. Biarkan rantai yang dihasilkan akan dilambangkan dengan di mana adalah panjang masing-masing rantai setelah burn-in. $m$

x_{1}^{(i)}, \dots, x_{N}^{(i)} for i = 1, \dots, m,

$x_1^{(i)},\dots,x_N^{(i)} \quad \text{ for } i=1,\dots,m,$

N

$N$

Jika seseorang ingin menggabungkan rantai ini ke dalam satu rantai panjang, apakah itu semudah menggabungkannya sebagai

x_{1}^{(1)}, \dots, x_{N}^{(1)}, \dots, x_{1}^{(m)}, \dots, x_{N}^{(m)} ?

$x_1^{(1)},\dots,x_N^{(1)},\dots, x_1^{(m)},\dots, x_N^{(m)} ?$

Dalam kasus saya, setiap adalah parametervector . Tujuan saya adalah mengambil sampel dari posterior mana adalah datanya. Alasan mengapa saya tertarik pada rantai paralel adalah karena mereka diperlukan untuk menghitung faktor pengurangan skala potensial (PSRF). $x_i$ $\theta_i$

p (θ ∣ y),

$p(\theta \mid y),$

y

$y$

mcmc parallel-computing

— Lotus3000
sumber

Perhatikan bahwa rantai individual memiliki ketergantungan serial; nilai dari rantai terpisah tidak, jadi jika Anda ingin terlihat seperti satu rantai panjang, hanya menggabungkannya tidak akan terlihat benar.

Namun, jika Anda hanya tertarik pada distribusi, urutan dalam rantai tidak relevan. Anda tidak benar-benar berusaha menyatukan rantai untuk itu, Anda hanya ingin menggabungkan semua informasi distribusi (memperlakukan mereka sebagai satu sampel besar). Tentu saja, jika rantai semua terkonvergensi ke distribusi stasionernya, mereka semua akan menjadi sampel dari distribusi yang sama - Anda dapat menggabungkannya.

Memang beberapa orang menjalankan periode burn-in dan hanya menarik nilai tunggal dari banyak rantai terpisah.

(Menjaga run terpisah mungkin membantu untuk menilai apakah mereka benar-benar telah bertemu.)

Namun, jika Anda menghitung varian yang memperhitungkan struktur ketergantungan, Anda akan mendasarkannya pada fakta bahwa proses yang berbeda itu independen, tetapi nilai dari proses yang sama bergantung.

— Glen_b -Reinstate Monica
sumber

Jadi misalnya jika saya ingin mencari perkiraan vektor parameter saya, saya cukup menghitungnya sebagai

\hat{θ} = \frac{\sum_{i = 1}^{m} \sum_{j = 1}^{N} θ_{j}^{(i)}}{n m} ?

$\hat{\theta} = \frac{ \sum_{i=1}^m \sum_{j=1}^N \theta_j^{(i)}}{nm}?$

— Lotus3000

Iya. Hanya varians yang (sedikit) rumit.

— Glen_b -Reinstate Monica

Apakah ini Gibbs atau yang lainnya?

— Glen_b -Reinstate Monica

Metropolis-Hastings

— Lotus3000

Oh, oke, tidak masalah. Saya hanya akan menyarankan penduga yang berbeda jika itu Gibbs.

— Glen_b -Reinstate Monica