Pengambilan sampel Gibbs versus MH-MCMC umum

20

Saya baru saja melakukan beberapa bacaan pada Gibbs sampling dan algoritma Metropolis Hastings dan punya beberapa pertanyaan.

Seperti yang saya pahami, dalam kasus pengambilan sampel Gibbs, jika kita memiliki masalah multivariat yang besar, kita sampel dari distribusi bersyarat yaitu sampel satu variabel sambil menjaga semua yang lain tetap sedangkan di MH, kita sampel dari distribusi gabungan penuh.

Satu hal yang dikatakan dokumen itu adalah bahwa sampel yang diusulkan selalu diterima di Gibbs Sampling yaitu tingkat penerimaan proposal selalu 1. Bagi saya ini sepertinya keuntungan besar karena untuk masalah multivariat yang besar sepertinya tingkat penolakan untuk algoritma MH menjadi cukup besar. . Jika memang demikian masalahnya, apa alasan di balik tidak menggunakan Gibbs Sampler sepanjang waktu untuk menghasilkan distribusi posterior?

— Luca
sumber

11

Proposal MH multivariat yang dikonstruksi dengan baik dapat sangat mengungguli pengambilan sampel Gibbs, bahkan ketika pengambilan sampel dari kondisional dimungkinkan (misalnya normal multivariat berdimensi tinggi, HMC mengalahkan Gibbs dengan margin lebar ketika variabel sangat berkorelasi). Ini karena pengambilan sampel Gibbs tidak memungkinkan variabel untuk berkembang bersama. Agak analog dengan mengoptimalkan suatu fungsi dengan secara iteratif mengoptimalkan argumen individual - Anda dapat melakukan lebih baik jika Anda mengoptimalkan wrt semua argumen bersama daripada masing-masing berturut-turut, meskipun lebih mudah untuk melakukan yang terakhir.

— pria

Metropolis-Hastings dapat mencicipi menggunakan proposal untuk persyaratan. Apakah Anda mengacu pada jenis MH tertentu?

— Glen_b -Reinstate Monica

1

Terima kasih atas komentarnya. Tidak, saya hanya berpikir secara umum mengapa Gibbs Sampler tidak digunakan lebih sering. telah melewatkan fakta bahwa bentuk distribusi bersyarat harus diketahui a-priori untuk pengambilan sampel Gibbs. Untuk kebutuhan saya saat ini, tampaknya kombinasi berfungsi paling baik. Jadi, gunakan langkah MH untuk subset parameter sambil menjaga yang lain konstan dan kemudian gunakan Gibbs untuk subset lainnya (di mana persyaratannya mudah untuk dievaluasi secara analitis). Saya baru saja memulai ini, jadi belum menyadari berbagai jenis MH. Setiap saran yang dihargai :-)

— Luca

12

alasan utama di balik penggunaan algoritma Metropolis terletak pada kenyataan bahwa Anda dapat menggunakannya bahkan ketika posterior yang dihasilkan tidak diketahui. Untuk pengambilan sampel Gibbs, Anda harus mengetahui distribusi posterior tempat Anda menggambar variasinya.

— pengguna3777456
sumber

1

Terima kasih balasannya! Jadi, dengan GS, idenya adalah bahwa persyaratan adalah distribusi yang lebih sederhana yang dapat disampel dari sampel dengan mudah sementara distribusi bersama, sementara diketahui, mungkin merupakan distribusi yang rumit yang sulit untuk diambil sampelnya?

— Luca

2

Ya ini benar. Namun sering kali, Gibbs-sampling dan Metropolis digunakan bersama. Jadi mengkondisikan pada beberapa variabel mungkin memberi Anda bentuk posterior tertutup, sedangkan untuk yang lain ini tidak mungkin dan Anda harus menggunakan "langkah-Metropolis". Dalam hal ini, Anda harus memutuskan untuk jenis Metropolis-sampler (independensi, jalan-acak) yang Anda pilih dan jenis proposal kepadatan apa yang Anda gunakan. Tapi saya kira ini terlalu jauh dan Anda sebaiknya membaca sendiri hal ini terlebih dahulu.

— user3777456

3

Pengambilan sampel Gibbs memecah kutukan dimensionalitas dalam pengambilan sampel karena Anda telah memecah ruang parameter (mungkin berdimensi tinggi) menjadi beberapa langkah dimensi rendah. Metropolis-Hastings mengurangi beberapa masalah dimensionaltiy menghasilkan teknik sampel penolakan, tetapi Anda masih mengambil sampel dari distribusi multi-variate penuh (dan memutuskan untuk menerima / menolak sampel) yang menyebabkan algoritma menderita dari kutukan dimensi.

Pikirkan dengan cara yang disederhanakan ini: jauh lebih mudah untuk mengusulkan pembaruan untuk satu variabel pada satu waktu (Gibbs) daripada semua variabel secara bersamaan (Metropolis Hastings).

Dengan demikian, dimensi ruang parameter masih akan mempengaruhi konvergensi di Gibbs dan Metropolis Hastings karena ada lebih banyak parameter yang berpotensi tidak konvergen.

Gibbs juga bagus karena setiap langkah dari loop Gibbs mungkin dalam bentuk tertutup. Ini sering terjadi dalam model hierarkis di mana setiap parameter dikondisikan hanya pada beberapa parameter lainnya. Seringkali cukup sederhana untuk mengkonstruksi model Anda sehingga setiap langkah Gibbs dalam bentuk tertutup (ketika setiap langkah konjugat itu kadang-kadang disebut "semi-konjugat"). Ini bagus karena Anda mengambil sampel dari distribusi yang dikenal yang seringkali sangat cepat.

— TrynnaDoStat
sumber

"Pengambilan sampel Gibbs mematahkan kutukan dimensionalitas dalam pengambilan sampel": sebenarnya, pengambilan sampel Gibbs cenderung jauh lebih buruk daripada sesuatu seperti Metropolis Hastings dengan matriks kovarian proposal yang adaptif.

— Cliff AB