Kebingungan terkait pengambilan sampel Gibbs

Saya menemukan artikel ini di mana dikatakan bahwa dalam pengambilan sampel Gibbs setiap sampel diterima. Saya sedikit bingung. Bagaimana jika setiap sampel yang diterima itu konvergen ke distribusi stasioner.

Secara umum Algoritma Metropolis kami terima sebagai min (1, p (x *) / p (x)) di mana x * adalah titik sampel. Saya berasumsi bahwa x * mengarahkan kita ke posisi di mana kepadatan tinggi sehingga kita pindah ke distribusi target. Oleh karena itu saya kira itu bergerak ke distribusi target setelah periode terbakar.

Namun, dalam pengambilan sampel Gibbs kami menerima semuanya jadi meskipun itu mungkin membawa kami ke tempat yang berbeda, bagaimana kami dapat mengatakan bahwa itu menyatu dengan distribusi stasioner / target

Misalkan kita memiliki distribusi . Kami tidak dapat menghitung Z. Dalam algoritma metropolis kami menggunakan istilah untuk menggabungkan distribusi ditambah konstanta normalisasi Z yang dibatalkan. Jadi tidak apa-apa $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Tetapi dalam sampling Gibbs di mana kita menggunakan distribusi $c(\theta)$

Untuk misal di makalah http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf yang diberikan

jadi kami tidak memiliki distribusi kondisional yang tepat untuk sampel, kami hanya memiliki sesuatu yang berbanding lurus dengan distribusi kondisional

masukkan deskripsi gambar di sini

mcmc gibbs metropolis-hastings

— pengguna34790
sumber

Apa yang akan terjadi di Metropolis-Hastings jika selalu 1?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b -Reinstate Monica

Jawaban:

Ketika kita menggunakan algoritma Metropolis-Hastings kita harus menghitung rasio penerimaan dan membiarkan variabel acak maka kita menerima variabel acak jika .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

Namun, dalam pengambilan sampel Gibbs kami selalu kecuali variabel acak karena kami tidak harus menghitung rasio penerimaan (baik Anda benar-benar melakukannya tetapi ketika Anda memasukkan hal-hal di dalam Anda melihat bahwa semuanya dibatalkan dan rasio penerimaan Anda adalah dan begitu jelas selalu kurang dari dan karena itu Anda selalu menerima). Namun, Anda juga dapat memikirkannya secara intuitif di mana dalam Gibbs sampling, Anda mengambil sampel dari kondisi penuh yang merupakan ekspresi bentuk tertutup yang dapat kami sampel langsung, sehingga tidak perlu menolak sampel seperti pada algoritma Metropolis-Hastings tempat kami tidak tahu cara mengambil sampel dari (atau biasanya tidak mengenali bentuk) . Semoga itu bisa membantu! $\alpha=1$ $U$ $\alpha$ $p(x)$

masukkan deskripsi gambar di sini

Saya tidak mengerti mengapa semuanya dibatalkan. Baiklah katakanlah kita harus mengambil sampel dari distribusi dari 3 variabel. Jadi ketika Anda bermaksud mengatakan syarat penuh dalam ekspresi bentuk tertutup yang Anda maksud adalah p (x1 | x2, x3) p (x2 | x1, x3) dan p (x3 | x1, x2). Pertanyaan saya adalah dalam kasus pengambilan sampel Gibbs kita tahu distribusi kondisional yang diperoleh dari p distribusi aktual dari mana kita ingin sampel. Apakah itu yang Anda maksud. Dalam kasus algoritma Metropolis kita tidak tahu p tetapi sesuatu seperti c sehingga p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Misalkan kita mulai dengan nilai acak untuk variabel x1, x2 dan x3 bagaimana kita dapat mengatakan bahwa distribusi stasionernya menyatu dengan yang diperlukan. Apa kriteria untuk itu?

— user34790

Misalkan saya memiliki distribusi . Saya tidak tahu Z. Jadi bagaimana saya mengambil sampel dari menggunakan sampling Gibbs

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Saya menambahkan bukti di atas mengapa selalu begitu. Untuk menggunakan sampel Gibbs, Anda perlu tahu apa persyaratan lengkapnya.

Bukti bahwa tingkat penerimaan sama dengan 1 sebagai salah ketik yaitu dalam penyebut di bagian tengah dan ketiga ekspresi untuk q harus memiliki z_i prime, sehingga pada akhirnya Anda mendapatkan P (z_i prime | z_i prime).

Alex

— pengguna60803
sumber