Apakah pengambilan sampel berbasis rantai Markov "terbaik" untuk pengambilan sampel Monte Carlo? Apakah ada skema alternatif yang tersedia?

9

Rantai Markov Monte Carlo adalah metode yang didasarkan pada rantai Markov yang memungkinkan kita untuk mendapatkan sampel (dalam pengaturan Monte Carlo) dari distribusi non-standar yang darinya kita tidak dapat menarik sampel secara langsung.

Pertanyaan saya adalah mengapa rantai Markov "canggih" untuk pengambilan sampel Monte Carlo. Sebuah pertanyaan alternatif mungkin, apakah ada cara lain seperti rantai Markov yang dapat digunakan untuk pengambilan sampel Monte Carlo? Saya tahu (setidaknya dari melihat literatur) bahwa MCMC memiliki akar teoretis yang dalam (dalam hal kondisi seperti (a) periodisitas, homogenitas, dan keseimbangan terperinci) tetapi bertanya-tanya apakah ada model / metode probabilistik "sebanding" untuk Monte Sampling Carlo mirip dengan rantai Markov.

Tolong bimbing saya jika saya telah membingungkan beberapa bagian dari pertanyaan (atau jika tampaknya membingungkan sama sekali).

— Ikram Ullah
sumber

11

Tidak ada alasan untuk menyatakan bahwa pengambilan sampel MCMC adalah metode Monte Carlo yang "terbaik"! Biasanya, ini lebih buruk dari sampling iid, setidaknya dalam hal varians dari estimasi Monte Carlo Memang, sementara rata-rata ini konvergen dengan harapanketikaadalah distribusi stasioner dan membatasi dari rantai Markov, setidaknya ada dua kelemahan dalam menggunakan metode MCMC:

\frac{1}{T} \sum_{t = 1}^{T} h (X_{t})

$\frac{1}{T}\sum_{t=1}^T h(X_t)$

E_{π} [h (X)]

$\mathbb{E}_{\pi}[h(X)]$

π

$\pi$

(X_{t})_{t}

$(X_t)_t$

Rantai perlu "mencapai stasioneritas", yang berarti ia perlu melupakan nilai awal . Dengan kata lain, harus "cukup besar" untuk untuk didistribusikan dari . Terkadang "cukup besar" dapat melampaui beberapa perintah besarnya anggaran komputasi untuk percobaan. $X_0$ $t$ $X_t$ $\pi$
Nilai-nilai berkorelasi, yang mengarah ke sebuah varian asimtotik yang melibatkan yang umumnya melebihi dan karenanya memerlukan simulasi lebih lama dibandingkan sampel iid. $X_t$ ${var}_{π} (X) + 2 \sum_{t = 1}^{\infty} {cov}_{π} (X_{0}, X_{t})$ $\text{var}_\pi(X)+2\sum_{t=1}^\infty\text{cov}_\pi(X_0,X_t)$ $\text{var}_\pi(X)$

Karena itu, MCMC sangat berguna untuk menangani pengaturan di mana pengambilan sampel secara rutin tidak mungkin atau terlalu mahal dan di mana pengambilan sampel yang penting cukup sulit untuk dikalibrasi, khususnya karena dimensi dari variabel acak yang akan disimulasikan.

Namun, metode Monte Carlo berurutan seperti filter partikel mungkin lebih tepat dalam model dinamis, di mana data datang dengan semburan yang membutuhkan perhatian segera dan bahkan mungkin hilang (yaitu, tidak dapat disimpan) setelah beberapa saat.

Kesimpulannya, MCMC adalah alat yang sangat berguna (dan sangat banyak digunakan) untuk menangani pengaturan kompleks di mana solusi Monte Carlo biasa gagal.

— Xi'an
sumber

8

Ada beberapa cara untuk menghasilkan nilai acak dari distribusi, McMC adalah salah satunya, tetapi beberapa yang lain juga akan dianggap sebagai metode Monte Carlo (tanpa bagian rantai Markov).

Yang paling langsung untuk pengambilan sampel univariat adalah menghasilkan variabel acak seragam, lalu hubungkan ini ke fungsi CDF terbalik. Ini berfungsi baik jika Anda memiliki CDF terbalik, tetapi menyulitkan ketika CDF dan / atau kebalikannya sulit untuk dihitung secara langsung.

Untuk masalah multivariat, Anda dapat menghasilkan data dari kopula, kemudian gunakan metode CDF terbalik pada nilai yang dihasilkan untuk memiliki beberapa tingkat korelasi antara variabel (meskipun menentukan parameter yang benar untuk kopula untuk mendapatkan tingkat korelasi yang diinginkan sering memerlukan sedikit coba-coba).

Sampel penolakan adalah pendekatan lain yang dapat digunakan untuk menghasilkan data dari distribusi (univariat atau multivariat) di mana Anda tidak perlu mengetahui CDF atau kebalikannya (dan Anda bahkan tidak memerlukan konstanta normalisasi untuk fungsi kerapatan), tetapi ini bisa sangat tidak efisien dalam beberapa kasus membutuhkan banyak waktu.

Jika Anda tertarik pada ringkasan dari data yang dihasilkan daripada poin acak sendiri, maka pengambilan sampel penting adalah pilihan lain.

Pengambilan sampel Gibbs yang merupakan bentuk pengambilan sampel McMC memungkinkan Anda sampel di mana Anda tidak tahu bentuk pasti dari distribusi multivarian selama Anda tahu distribusi bersyarat untuk setiap variabel yang diberikan yang lain.

Ada yang lain juga, yang terbaik tergantung pada apa yang Anda ketahui dan tidak tahu dan detail lain dari masalah spesifik. McMC populer karena berfungsi dengan baik untuk banyak situasi dan menggeneralisasi untuk banyak kasus yang berbeda.

— Greg Snow
sumber