Teorema Limit Pusat untuk Rantai Markov

$\newcommand{\E}{\mathbb{E}}$ $\newcommand{\P}{\mathbb{P}}$ Central Limit Theorem (CLT) menyatakan bahwa untuk $X_1,X_2,\dots$ independen dan didistribusikan secara identik (iid) dengan $\E[X_i]=0$ dan $\operatorname{ Var} (X_i)<\infty$ , jumlah menyatu dengan distribusi normal sebagai $n\to\infty$ :

\sum_{i = 1}^{n} X_{i} \to N (0, \sqrt{n}) .

$\sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right).$

Asumsikan sebagai gantinya $X_1,X_2,\dots$ membentuk rantai Markov keadaan terbatas dengan distribusi stasioner $\P_\infty$ dengan ekspektasi 0 dan varians terikat. Apakah ada perpanjangan sederhana CLT untuk kasus ini?

Makalah yang saya temukan di CLT untuk Markov Chains umumnya menangani kasus yang jauh lebih umum. Saya akan sangat berterima kasih atas petunjuk untuk hasil umum yang relevan dan penjelasan bagaimana penerapannya.

markov-process central-limit-theorem

— tom4everitt
sumber

Makalah Lin dan Tegmark, Critical Behavior from Deep Dynamics, menjelaskan tentang "keterbatasan * proses dan analisis Markov ... tersedia di sini ... ai2-s2-pdfs.s3.amazonaws.com/5ba0/…

— Mike Hunter

Jawaban:

Jawaban Alex R. hampir mencukupi, tetapi saya menambahkan beberapa detail lagi. Dalam On the Markov Chain Central Limit Theorem - Galin L. Jones , jika Anda melihat teorema 9, katanya,

Jika adalah rantai Harris ergodic Markov dengan distribusi stasioner , maka CLT berlaku untuk jika seragam ergodik dan . $X$ $\pi$ $f$ $X$ $E[f^2] < \infty$

Untuk ruang keadaan terbatas, semua rantai Markov yang tidak dapat direduksi dan aperiodik seragam ergodik. Bukti untuk ini melibatkan beberapa latar belakang yang cukup besar dalam teori rantai Markov. Referensi yang baik adalah halaman 32, di bagian bawah Teorema 18 di sini .

Oleh karena itu, rantai Markov CLT akan berlaku untuk setiap fungsi yang memiliki momen kedua terbatas. Bentuk yang diambil CLT dijelaskan sebagai berikut. $f$

Biarkan menjadi penaksir rata-rata waktu , lalu seperti yang ditunjukkan oleh Alex R., seperti , $\bar{f}_n$ $E_{\pi}[f]$ $n \to \infty$

{\bar{f}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \overset{a.s.}{\to} E_{π} [f] .

$\bar{f}_n = \frac{1}{n} \sum_{i=1}^n f(X_i) \overset{\text{a.s.}}{\to} E_\pi[f].$

CLT rantai Markov adalah

\sqrt{n} ({\bar{f}}_{n} - E_{π} [f]) \overset{d}{\to} N (0, σ^{2}),

$\sqrt{n} (\bar{f}_n - E_\pi[f]) \overset{d}{\to} N(0, \sigma^2),$

di mana

σ^{2} = \underset{Expected term}{\underset{⏟}{{Var}_{π} (f (X_{1}))}} + \underset{Term due to Markov chain}{\underset{⏟}{2 \sum_{k = 1}^{\infty} {Cov}_{π} (f (X_{1}), f (X_{1 + k}))}} .

$\sigma^2 = \underbrace{\operatorname{Var}_\pi(f(X_1))}_\text{Expected term} + \underbrace{2 \sum_{k=1}^\infty \operatorname{Cov}_\pi(f(X_1), f(X_{1+k}))}_\text{Term due to Markov chain}.$

Derivasi untuk term dapat ditemukan pada Halaman 8 dan Halaman 9 dari catatan MCMC Charles Geyer di sini $\sigma^2$

— Greenparker
sumber

Terima kasih, itu sangat jelas! Adakah argumen yang mudah mengapa keadaan terbatas, rantai Markov yang tak tereduksi, dan aperiodik secara ergodik seragam? (Bukannya aku tidak percaya kamu ^^).

— tom4everitt

@ tom4everitt Sayangnya, definisi "mudah" adalah subyektif. Jika Anda terbiasa dengan kondisi drift dan minorisasi untuk rantai Markov, maka argumennya mudah. Jika tidak, maka itu akan menjadi argumen panjang. Saya akan mencoba dan mencari referensi sebagai gantinya. Mungkin perlu waktu.

— Greenparker

Itu akan luar biasa. Jika Anda tidak menemukannya, beberapa kalimat yang mengisyaratkan langkah-langkah utama masih akan membantu.

— tom4everitt

@ tom4everitt Menambahkan referensi ke jawabannya. Harapan itu sudah cukup.

— Greenparker

@Greenparker Bisakah saya meminta bantuan Anda dalam memahami bagaimana variasi dalam jawaban Anda diturunkan. Saya melihat referensi dalam jawaban Anda, tetapi saya tidak menemukan derivasi di sana. Saya punya sumber, MC untuk MCsist, tapi saya tidak sepenuhnya mengerti bagaimana itu diturunkan di sana. Yaitu, bagaimana istilah diturunkan? Terima kasih!

σ^{2}

$\sigma^2$

— LeastSquaresWonderer

Hasil "biasa" untuk Rantai Markov adalah Teorema Birkhoff Ergodic, yang mengatakan itu

\frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \to E_{π} [f],

$\frac{1}{n}\sum_{i=1}^nf(X_i)\rightarrow E_{\pi}[f],$

di mana adalah distribusi stasioner, dan memuaskan , dan konvergensi hampir pasti. $\pi$ $f$ $E|f(X_1)|<\infty$

Sayangnya fluktuasi konvergensi ini umumnya cukup sulit. Ini terutama disebabkan oleh kesulitan ekstrim untuk menentukan batas variasi total pada seberapa cepat konvergen ke distribusi stasioner . Ada kasus-kasus yang diketahui di mana fluktuasi analog dengan CLT, dan Anda dapat menemukan beberapa kondisi pada drift yang membuat analogi bertahan: Pada Teorema Limit Pusat Rantai Markov - Galin L. Jones (Lihat Teorema 1). $X_i$ $\pi$

Ada juga situasi bodoh, misalnya rantai dengan dua keadaan, di mana seseorang menyerap (yaitu dan Dalam hal ini tidak ada fluktuasi, dan Anda dapatkan konvergensi ke distribusi normal yang merosot (konstanta). $P(1\rightarrow 2)=1$ $P(2\rightarrow 1)=0$

— Alex R.
sumber

Saya tidak berpikir dia bertanya tentang konvergensi yang hampir pasti. Saya pikir dia ingin semacam 'terjemahan' dari beberapa CLT pada ruang umum: mungkin penjelasan tentang apa arti asumsi yang diperlukan dalam konteks spesifik rantai ruang keadaan terbatas

— Taylor

Terima kasih. Akankah rantai Markov yang normal, bagus, hingga kondisi terbatas sepele memuaskan kondisi drift? Saya bahkan akan senang mengetahuinya hanya untuk rantai dua negara, tetapi jauh dari jelas bagi saya bagaimana membuktikannya.

— tom4everitt