Dapatkah iterasi MCMC setelah terbakar digunakan untuk estimasi kepadatan?

Setelah burn-in, bisakah kita langsung menggunakan iterasi MCMC untuk estimasi kepadatan, seperti dengan memplot histogram, atau estimasi kepadatan kernel? Kekhawatiran saya adalah bahwa iterasi MCMC belum tentu independen, meskipun paling banyak didistribusikan secara identik.

Bagaimana jika kita menerapkan penjarangan lebih lanjut pada iterasi MCMC? Kekhawatiran saya adalah bahwa iterasi MCMC paling tidak berkorelasi, dan belum independen.

Dasar yang saya pelajari untuk menggunakan fungsi distribusi empiris sebagai estimasi fungsi distribusi sebenarnya didasarkan pada teorema Glivenko-Cantelli , di mana fungsi distribusi empiris dihitung berdasarkan pada sampel iid. Saya sepertinya melihat beberapa alasan (hasil asimptotik?) Untuk menggunakan histogram, atau estimasi kepadatan kernel sebagai estimasi kepadatan, tetapi saya tidak dapat mengingatnya.

distributions mcmc asymptotics

— Tim
sumber

Jawaban:

Anda dapat - dan orang-orang - memperkirakan kepadatan dari MCMC sampling.

Satu hal yang perlu diingat adalah bahwa sementara histogram dan KDE nyaman, setidaknya dalam kasus-kasus sederhana (seperti sampling Gibbs), estimasi kepadatan yang jauh lebih efisien mungkin tersedia.

Jika kami mempertimbangkan pengambilan sampel Gibbs secara khusus, kepadatan bersyarat tempat Anda mengambil sampel dapat digunakan sebagai pengganti nilai sampel itu sendiri dalam menghasilkan estimasi kepadatan rata-rata. Hasilnya cenderung cukup lancar.

Pendekatan ini dibahas dalam

Gelfand dan Smith (1990), "Pendekatan Berbasis Sampling untuk Menghitung Kepadatan Marginal"
Jurnal Asosiasi Statistik Amerika , Vol. 85, No. 410, hlm. 398-409

(meskipun Geyer memperingatkan bahwa jika ketergantungan sampler cukup tinggi, ia tidak selalu mengurangi varians dan memberikan kondisi untuk itu)

Pendekatan ini juga dibahas, misalnya, dalam Robert, CP dan Casella, G. (1999) Metode Statistik Monte Carlo .

Anda tidak perlu mandiri, Anda sebenarnya menghitung rata-rata. Jika Anda ingin menghitung kesalahan standar estimasi kepadatan (atau cdf), maka Anda harus memperhitungkan ketergantungannya.

Gagasan yang sama berlaku untuk ekspektasi lain, tentu saja, dan dengan demikian dapat digunakan untuk meningkatkan estimasi berbagai jenis rata-rata lainnya.

— Glen_b -Reinstate Monica
sumber

Terima kasih! Apakah maksud Anda, karena distribusi marjinal adalah harapan dari distribusi bersama, tidak masalah untuk menggunakan iterasi MCMC yang berkorelasi untuk memperkirakan distribusi marginal? Bagaimana jika menggunakan iterasi berkorelasi untuk memperkirakan distribusi bersama? Masih baik?

— Tim

Bukan itu yang saya maksud. Maksud saya, penaksir yang kita hadapi adalah rata-rata hal-hal, dan sedang digunakan untuk memperkirakan jumlah populasi yang dapat ditafsirkan sebagai harapan dari hal-hal itu. Ya, Anda dapat menggunakan undian terikat untuk memperkirakan distribusi bersama dalam arti yang sama.

— Glen_b -Reinstate Monica

Mengapa kita bisa menggunakan iterasi berkorelasi untuk memperkirakan distribusi bersama? Saya pikir tidak, karena distribusi bersama bukan harapan dari sesuatu. Perhatikan bahwa dalam teorema Glivenko – Cantelli, cdf empiris dihitung berdasarkan sampel iid.

— Tim

Untuk kepadatan, Anda dapat mempertimbangkan sesuatu seperti perkiraan sampel yang dijelaskan di sini misalnya (dan mungkin dianggap sebagai batas histogram dengan nampan yang semakin sempit); ini rata-rata, dan saya percaya harapannya adalah kepadatan. Sehubungan dengan cdf Anda mungkin ingin mempertimbangkan apakah Anda dapat melakukan sesuatu dengan cdf empiris untuk membuatnya dalam bentuk rata-rata. Kedua ide tersebut tampaknya bekerja dengan sampel dari distribusi bersama.

— Glen_b -Reinstate Monica

Lanjut

Anda dapat langsung menggunakan iterasi MCMC untuk apa pun karena nilai rata-rata yang Anda amati akan mendekati nilai sebenarnya (karena Anda setelah burn-in).

Namun, ingatlah bahwa varians rata-rata ini dipengaruhi oleh korelasi antara sampel. Ini berarti bahwa jika sampel berkorelasi, seperti yang umum di MCMC, menyimpan setiap pengukuran tidak akan membawa keuntungan nyata.

Secara teori, Anda harus mengukur setelah N langkah, di mana N adalah urutan waktu autokorelasi dari yang dapat Anda ukur.

Penjelasan detail

$x_t$ $t$ $f$

$x_t \in \mathbb{R}$ $f=f_a(x)$ $x\in[a,a+\Delta]$ $x_t$ $P(x)$

$f$

F = \frac{1}{N} \sum_{i = 1}^{N} f (x_{i})

$F = \frac{1}{N}\sum_{i=1}^N f(x_i)$

$\langle F\rangle$ $P(x)$

⟨ F ⟩ = \frac{1}{N} \sum_{i = 1}^{N} ⟨ f (x_{i}) ⟩ = ⟨ f (x) ⟩

$\langle F \rangle = \frac{1}{N}\sum_{i=1}^N \langle f(x_i)\rangle = \langle f(x)\rangle$

itulah yang ingin Anda dapatkan.

$\langle F^2 \rangle - \langle F \rangle^2$

\sum_{i = 1}^{N} \sum_{j = 1}^{N} ⟨ f (x_{i}) f (x_{j}) ⟩

$\sum_{i=1}^N\sum_{j=1}^N \langle f(x_i)f(x_j)\rangle$

$x_t$ $j=i+\Delta$ $f$ $R(\Delta)$

Jadi, untuk rekap:

Jika secara komputasi tidak memerlukan biaya apa pun untuk menyimpan setiap ukuran, Anda dapat melakukannya, tetapi ingatlah bahwa varians tidak dapat dihitung menggunakan rumus yang biasa.
$\tau$ $\tau$

— Jorge Leitao
sumber

\sqrt{n}

$\sqrt n$

Penipisan hanyalah pemborosan data yang berguna. Itu tidak mengurangi varian estimasi. Lihat komentar untuk pertanyaan ini: stats.stackexchange.com/a/258529/58675

— DeltaIV

@DeltaIV, ya. Maksud saya di sini adalah bahwa penipisan atau tidak, skala waktu yang relevan masih merupakan waktu autokorelasi.

— Jorge Leitao