Apakah MCMC yang memenuhi saldo terperinci menghasilkan distribusi stasioner?

12

Saya kira saya memahami persamaan kondisi keseimbangan terperinci, yang menyatakan bahwa untuk probabilitas transisi dan distribusi stasioner , Rantai Markov memenuhi keseimbangan terperinci jika $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

ini lebih masuk akal bagi saya jika saya menyatakan kembali sebagai:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Pada dasarnya, probabilitas transisi dari keadaan ke keadaan harus proporsional dengan rasio kepadatan probabilitasnya. $x$ $y$

probability mcmc markov-process

— Mike Flynn
sumber

10

Tidak benar bahwa MCMC yang memenuhi keseimbangan terinci selalu menghasilkan distribusi stasioner. Anda juga membutuhkan proses untuk menjadi ergodik . Mari kita lihat mengapa:

Anggap sebagai keadaan himpunan semua keadaan yang mungkin, dan identifikasikan dengan indeks . Dalam proses markov, distribusi berkembang sesuai dengan $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

di mana adalah matriks yang menunjukkan probabilitas transisi ( Anda ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Jadi, kita memilikinya

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

Fakta bahwa adalah probabilitas transisi menyiratkan bahwa nilai eigennya harus termasuk dalam interval [0,1]. $\Omega_{j \rightarrow i}$

Untuk memastikan bahwa setiap distribusi awal menyatu dengan asimptotik, Anda harus memastikan bahwa $p_{0}(j)$

1 Hanya ada satu nilai eigen dengan nilai 1 dan memiliki vektor eigen bukan nol yang unik. $\Omega$

Untuk memastikan bahwa adalah distribusi asimptotik, Anda perlu memastikannya $\pi$

2 Vektor eigen yang terkait dengan nilai eigen 1 adalah . $\pi$

Ergodisitas menyiratkan 1., keseimbangan terperinci menyiratkan 2., dan itulah sebabnya keduanya membentuk kondisi konvergensi asimptotik yang perlu dan cukup.

Mengapa saldo terperinci menyiratkan 2:

Mulai dari

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

dan menjumlahkan di kedua sisi, kita dapatkan $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

karena , karena Anda selalu transit ke suatu tempat. $\sum_{j} \Omega_{ij} = 1$

Persamaan di atas adalah definisi nilai eigen 1, (lebih mudah untuk melihat apakah Anda menulisnya dalam bentuk vektor :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
sumber

OP tidak bertanya apakah itu unik atau tidak, ia bertanya bagaimana MCMC dengan saldo terperinci cukup untuk menghasilkan kepadatan probabilitas yang tidak berubah.

— gatsu

1

Kalimat pertama dari jawaban ini adalah "Tidak benar bahwa MCMC yang memenuhi keseimbangan terinci selalu menghasilkan distribusi stasioner." Jadi, tidak, keseimbangan terperinci tidak cukup untuk menghasilkan dan kepadatan tidak tetap ... Bagaimana itu tidak menjawab pertanyaan?

— Jorge Leitao

0

Saya pikir memang demikian, karena untuk MC yang tidak dapat direduksi jika keseimbangan terinci terpenuhi maka ia memiliki distribusi stasioner yang unik, tetapi agar independen dari distribusi awal juga harus aperiodik.

Dalam kasus MCMC kita mulai dari titik data dan kemudian mengusulkan titik baru. Kami mungkin atau mungkin tidak pindah ke titik yang diusulkan yaitu kami memiliki loop diri yang membuat MC aperiodik tak tereduksi.

Sekarang karena memuaskan DB itu juga memiliki keadaan berulang positif, yaitu waktu pengembalian rata-rata ke negara terbatas. Jadi rantai yang kami buat di MCMC tidak dapat direduksi, aperiodik, dan berulang positif, yang artinya merupakan rantai ergodik.

Kita tahu bahwa untuk rantai ergodik tak tereduksi distribusi stasioner ada yang unik dan independen dari distribusi awal.

— Siddharth Shakya
sumber