Hamiltonian monte carlo

Adakah yang bisa menjelaskan ide utama di balik metode Hamiltonian Monte Carlo dan dalam kasus apa mereka akan menghasilkan hasil yang lebih baik daripada metode Markov Chain Monte Carlo?

bayesian mcmc hmc

— Taylor
sumber

Ini dibahas secara luas dalam dokumentasi Stan.

— Sycorax berkata Reinstate Monica

@General Abrial: tetapi tidak semua pertanyaan di sini tercakup dalam satu atau beberapa makalah atau buku atau dokumentasi?

Pertanyaannya tidak diajukan dengan baik, karena Hamiltonian Monte Carlo adalah contoh metode Markov Chain Monte Carlo.

— aripakman

Tentu, ini adalah ulasan yang bagus mcmchandbook.net/HandbookChapter5.pdf

— aripakman

Anda memang memperhatikan, bahwa Zen menautkan Anda dengan URL yang persis sama pada tanggal 28 Mei?

— Bernhard

Jawaban:

Saya percaya sumber terbaru tentang Hamiltonian Monte Carlo, aplikasi praktisnya dan perbandingannya dengan metode MCMC lainnya adalah makalah ulasan 2017 yang bertanggal 2017 oleh Betancourt:

Tantangan utama dalam memperkirakan ekspektasi probabilitas adalah mengkuantifikasi himpunan tipikal dari target distribusi, himpunan yang terkonsentrasi dekat permukaan kompleks dalam ruang parameter. Hamiltonian Monte Carlo menghasilkan eksplorasi yang koheren dari distribusi target halus dengan mengeksploitasi geometri dari set yang khas. Eksplorasi yang efektif ini tidak hanya menghasilkan efisiensi komputasi yang lebih baik daripada algoritma Markov chain Monte Carlo lainnya, tetapi juga jaminan yang lebih kuat pada validitas estimator yang dihasilkan. Selain itu, analisis yang cermat dari geometri ini memfasilitasi strategi berprinsip untuk membangun implementasi metode yang optimal secara otomatis, memungkinkan pengguna untuk memusatkan keahlian mereka dalam membangun model yang lebih baik daripada bergulat dengan frustrasi dalam perhitungan statistik. Hasil dari,Stan (Stan Development Team, 2017).

— Zhubarb
sumber

Ini sedikit terlalu banyak menjual pendekatan!

— Xi'an

Hamiltonian Monte Carlo ( HMC ), awalnya bernama Hybrid Monte Carlo, adalah bentuk Markov Chain Monte Carlo dengan istilah momentum dan koreksi.

"Hamiltonian" mengacu pada mekanika Hamilton.

Use-case secara stokastik (acak) mengeksplorasi dimensi tinggi untuk integrasi numerik di atas ruang probabilitas.

Berbeda dengan MCMC

Rantai Markov polos / vanilla Monte Carlo (MCMC) hanya menggunakan status terakhir untuk menentukan status selanjutnya. Itu berarti bahwa Anda kemungkinan akan maju seperti Anda akan kembali ke ruang yang telah Anda jelajahi.

MCMC juga cenderung melayang di luar area utama yang diminati dalam ruang dimensi tinggi juga.

Ini membuat MCMC sangat tidak efisien untuk keperluan integrasi numerik pada ruang probabilitas multidimensi.

Bagaimana HMC menangani masalah ini

Dengan menambahkan dalam istilah momentum, HMC membuat eksplorasi ruang probabilitas lebih efisien, karena Anda sekarang lebih mungkin untuk membuat kemajuan maju dengan setiap langkah melalui ruang probabilitas Anda.

HMC juga menggunakan Metropolis-Hastings koreksi untuk memastikannya tetap masuk dan menjelajahi wilayah dengan probabilitas lebih besar.

Dalam menuliskan jawaban ini, saya menemukan presentasi ini di HMC cukup mencerahkan.

— Aaron Hall
sumber