Distribusi proposal - Metropolis Hastings MCMC

Dalam rantai Metropolis-Hastings Markov Monte Carlo, distribusi proposal dapat berupa apa saja termasuk Gaussian (menurut Wikipedia).

T: Apa motivasi untuk menggunakan selain Gaussian? Gaussian bekerja, mudah untuk mengevaluasi, cepat dan semua orang memahaminya. Mengapa saya mempertimbangkan hal lain?

T: Karena distribusi proposal dapat berupa apa saja, dapatkah saya menggunakan distribusi yang seragam?

— Halo Dunia
sumber

A1: Memang distribusi Gaussian mungkin adalah distribusi proposal yang paling banyak digunakan terutama karena kemudahan penggunaan. Namun, orang mungkin ingin menggunakan distribusi proposal lain karena alasan berikut

Ekor Berat : Distribusi Gaussian memiliki ekor ringan. Ini berarti bahwa mungkin hanya akan menyarankan nilai antara . Tetapi distribusi memiliki ekor yang lebih berat, dan dengan demikian dapat mengusulkan nilai yang lebih jauh. Ini memastikan bahwa rantai Markov yang dihasilkan mengeksplorasi ruang keadaan lebih bebas, dan mungkin mengurangi autokorelasi. Plot di bawah ini menunjukkan dibandingkan dengan . Anda melihat bagaimana kemungkinan akan mengusulkan nilai lebih jauh dari 0. $N(x_{t-1}, \sigma^2)$ $(x_{t-1} - 3\sigma, x_{t-1} + 3\sigma)$ $t$ $N(0,1)$ $t_1$ $t$

Ruang Terbatas : Distribusi Gaussian didefinisikan pada semua real. Jika distribusi Anda mengambil sampel dari katakanlah hanya didefinisikan pada positif atau pada , maka Gaussian kemungkinan akan mengusulkan nilai yang kepadatan targetnya adalah 0. Nilai-nilai tersebut kemudian segera ditolak, dan rantai Markov tidak bergerak dari tempatnya saat ini. Ini pada dasarnya membuang hasil seri dari rantai Markov. Sebaliknya, jika Anda berada di sisi positifnya, Anda bisa menggunakan distribusi Gamma dan pada Anda bisa menggunakan Beta. $(0,1)$ $(0,1)$
Multiple Mode : Ketika distribusi target adalah multi-modal, proposal Gaussian kemungkinan akan menyebabkan rantai Markov terjebak di dekat satu mode. Ini sebagian karena ekor cahaya Gaussian. Jadi, sebagai gantinya, orang menggunakan proposal berbasis gradien, atau campuran dari Gauss sebagai proposal.

Anda dapat menemukan lebih banyak diskusi di sini dan di sini .

A2: Ya Anda dapat menggunakan distribusi Uniform selama dukungan untuk distribusi seragam dibatasi (karena jika dukungan tidak terikat, distribusi Uniform tidak tepat karena diintegrasikan ke ). Jadi Uniform on . $\infty$ $(x_{t-1} - c, x_{t-1} + c)$

— Greenparker
sumber

Bisakah Anda mengklarifikasi arti "ruang dibatasi" di A2 (perhatikan bahwa ruang di mana parameter target terletak tidak perlu dibatasi selama rantai dapat bergerak ke mana-mana, mungkin memerlukan beberapa langkah). Juga, apakah ada kesalahan ketik yang dimiliki satu titik akhir

x_{t - 1}

$x_{t-1}$ sementara yang lain memiliki

x_{t + 1}

$x_{t+1}$ ?

— Juho Kokkala

@JuhoKokkala Memperbaiki kesalahan ketik, terima kasih telah menunjukkannya. Distribusi seragam harus didefinisikan pada ruang terbatas jika tidak diintegrasikan ke 1 (dan terintegrasi ke

\infty

$\infty$ ).

— Greenparker

@Greenparker: Anda perlu mengklarifikasi lebih lanjut apa yang Anda maksud dengan "ruang". Dukungan distribusi target mungkin tidak terikat, sementara dukungan proposal seragam dibatasi tetapi proposal seragam yang sesuai masih dapat menghasilkan rantai Markov yang tidak dapat direduksi di seluruh ruang.

— Xi'an

1. sigma adalah parameter pilihan sehingga argumen ini tidak valid. 2. Jika Anda membahas MH jalan acak (seperti 1. menunjukkan) ini hanya akan menjadi masalah di perbatasan.

— Hunaphu

@Hunaphu

σ

$\sigma$ mengubah varian proposal, tetapi bukan struktur ekornya. Dan bisakah Anda memperluas apa yang Anda maksud dengan "ini hanya akan menjadi masalah di perbatasan"?

— Greenparker