Kapan orang akan menggunakan sampel Gibbs alih-alih Metropolis-Hastings?

Ada berbagai jenis algoritma MCMC:

Metropolis-Hastings
Gibbs
Pentingnya / penolakan sampel (terkait).

Mengapa orang menggunakan sampling Gibbs alih-alih Metropolis-Hastings? Saya menduga ada kasus-kasus di mana kesimpulan lebih mudah ditelusuri dengan sampling Gibbs daripada dengan Metropolis-Hastings, tetapi saya tidak jelas secara spesifik.

— ShanZhengYang
sumber

Dari atas kepala saya (sudah lama, jadi saya tidak memposting ini sebagai jawaban), Gibbs lebih cepat ketika bekerja, sedangkan Metropolis-Hastings dapat mengatasi berbagai model yang lebih luas, karena tidak dibatasi untuk langkah-langkah ortogonal dalam ruang parameter.

— Kodiologist

Anda mungkin atau mungkin tidak menyadari bahwa Gibbs dapat dipandang sebagai turunan dari Metropolis-Hastings, jadi Anda mungkin ingin mengklarifikasi bahwa Anda bermaksud sesuatu seperti "Metropolis-Hastings dengan distribusi transisi lokal."

— Dougal

Pertama, izinkan saya mencatat [agak pedantis] itu

Ada beberapa jenis algoritma MCMC: Metropolis-Hastings, Gibbs, sampel penting / penolakan (terkait).

$f$ $\omega$ $f$ $f$ $f$

Kedua, pertanyaannya

Mengapa seseorang pergi dengan Gibbs mengambil sampel alih-alih Metropolis-Hastings? Saya menduga ada kasus-kasus di mana kesimpulan lebih mudah ditelusuri dengan sampling Gibbs daripada dengan Metropolis-Hastings

tidak memiliki jawaban karena sampler Metropolis-Hastings bisa berupa apa saja, termasuk sampler Gibbs. Saya menjawab secara agak terperinci untuk pertanyaan sebelumnya dan yang serupa. Tapi izinkan saya menambahkan beberapa poin jika berlebihan di sini:

Alasan utama mengapa sampling Gibbs diperkenalkan adalah untuk mematahkan kutukan dimensi (yang berdampak baik penolakan dan sampel penting) dengan menghasilkan serangkaian simulasi dimensi rendah yang masih menyatu dengan target yang tepat. Meskipun dimensi target berdampak pada kecepatan konvergensi. Sampler Metropolis-Hastings dirancang untuk membuat rantai Markov (seperti pengambilan sampel Gibbs) berdasarkan proposal (seperti sampel kepentingan dan penolakan) dengan mengoreksi kepadatan yang salah melalui langkah penerimaan-penolakan. Tetapi poin penting adalah bahwa mereka tidak menentang: yaitu, pengambilan sampel Gibbs mungkin memerlukan langkah-langkah Metropolis-Hastings ketika menghadapi target bersyarat kompleks jika dimensi rendah, sementara proposal Metropolis-Hastings dapat dibangun berdasarkan perkiraan untuk kondisi penuh (Gibbs) penuh. Dalam definisi formal, Pengambilan sampel Gibbs adalah kasus khusus dari algoritma Metropolis-Hasting dengan kemungkinan penerimaan satu. (Omong-omong, saya keberatan dengan penggunaankesimpulan dalam kutipan itu, karena saya akan memesannya untuk keperluan statistik , sedangkan sampler tersebut adalah perangkat numerik .)

Biasanya, pengambilan sampel Gibbs [dipahami sebagai menjalankan serangkaian simulasi kondisional dimensi rendah] disukai dalam pengaturan di mana dekomposisi menjadi kondisi seperti itu mudah diimplementasikan dan cepat dijalankan. Dalam pengaturan di mana dekomposisi seperti itu mendorong multimodality dan karenanya kesulitan untuk berpindah di antara mode (model variabel laten seperti model campuran datang ke pikiran), menggunakan proposal yang lebih global dalam algoritma Metropolis-Hasting dapat menghasilkan efisiensi yang lebih tinggi. Tetapi kelemahannya adalah memilih distribusi proposal dalam algoritma Metropolis-Hasting.

— Xi'an
sumber