Apa hubungan antara rantai Markov dan rantai Markov monte carlo

15

Saya mencoba memahami rantai Markov menggunakan SAS. Saya mengerti bahwa proses Markov adalah satu di mana keadaan di masa depan hanya bergantung pada keadaan saat ini dan bukan pada keadaan masa lalu dan ada matriks transisi yang menangkap probabilitas transisi dari satu keadaan ke keadaan lain.

Tapi kemudian saya menemukan istilah ini: Markov Chain Monte Carlo. Yang ingin saya ketahui adalah apakah Rantai Markov Monte Carlo terkait dengan proses Markov yang saya jelaskan di atas?

— Pemenang
sumber

9

Ya, ada hubungan di antara kedua istilah itu karena gambar dari MCMC membentuk rantai Markov. Dari Gelman, Bayesian Data Analysis (edisi ke-3), hlm. 265:

Simulasi rantai Markov (juga disebut rantai Markov Monte Carlo atau MCMC) adalah metode umum berdasarkan nilai menggambar dari distribusi yang sesuai dan kemudian mengoreksi gambar-gambar tersebut untuk mendekati perkiraan distribusi posterior target, . Pengambilan sampel dilakukan secara berurutan, dengan distribusi penarikan sampel tergantung pada nilai terakhir yang diambil; karenanya, undian membentuk rantai Markov. $\theta$ $p(\theta|y)$

— Sycorax berkata Reinstate Monica
sumber

Umm ok, tapi mengapa saya perlu menggambar sampel acak dari proses markov, ada begitu banyak jenis proses seperti normal, bernoulli, posisi dll.

— Victor

2

@ Viktor Saya pikir Anda tidak melihat penggunaan MCMC. Kami menggunakan MCMC dalam statistik Bayesian ketika tidak ada bentuk analitik distribusi posterior.

— Sycorax berkata Reinstate Monica

3

Statistik Bayesian +1 mungkin merupakan aplikasi MCMC yang paling jelas (di mana target distribusi adalah posterior bersama) tetapi bukan satu-satunya yang mungkin.

— Glen_b -Reinstate Monica

18

Koneksi antara kedua konsep adalah bahwa rantai Markov Monte Carlo (alias MCMC) metode mengandalkan teori rantai Markov untuk menghasilkan simulasi dan perkiraan Monte Carlo dari distribusi target yang kompleks . $\pi$

Dalam prakteknya, metode simulasi ini menghasilkan urutan yang merupakan rantai Markov, yaitu, sedemikian sehingga distribusi diberikan seluruh masa lalu hanya tergantung pada . Dengan kata lain, mana adalah fungsi yang ditentukan oleh algoritma dan distribusi target $X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{i} = f (X_{i - 1}, ϵ_{i})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

Contoh termudah dari algoritma MCMC adalah slice sampler : pada iterasi i dari algoritma ini, lakukan

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$ )

Misalnya, jika target distribusi normal $\mathrm{N}(0,1)$ [yang Anda jelas tidak memerlukan MCMC dalam praktiknya, ini adalah contoh mainan!] di atas diterjemahkan sebagai

mensimulasikan $\epsilon^1_i\sim\mathrm{U}(0,1)$

mensimulasikan $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ yaitu $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ dengan $\epsilon_i^2\sim\mathrm{U}(0,1)$

atau dalam R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

Berikut ini adalah representasi dari output, yang menunjukkan pas untuk $\mathrm{N}(0,1)$ target dan evolusi rantai Markov $(X_i)$ .

Dan ini adalah zoom pada evolusi rantai Markov $(X_i,\epsilon^1_i\pi(X_i))$ lebih dari 100 iterasi terakhir, diperoleh oleh

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

yang mengikuti gerakan vertikal dan horizontal rantai Markov di bawah kurva kerapatan target.

— Xi'an
sumber