Bagaimana cara mendapatkan sampel Gibbs?

Saya sebenarnya ragu untuk menanyakan hal ini, karena saya khawatir saya akan dirujuk ke pertanyaan lain atau Wikipedia di Gibbs sampling, tetapi saya tidak merasa mereka menggambarkan apa yang ada di tangan.

Diberikan probabilitas bersyarat : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

Dan probabilitas bersyarat : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

Kita dapat secara unik menghasilkan probabilitas gabungan : $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

Karena, walaupun kami memiliki tidak diketahui, kami memiliki lebih banyak ( ) persamaan linear: $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Sebaik:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Ini dengan cepat diselesaikan oleh , . Yaitu dengan menyamakan dengan . Ini menghasilkan dan sisanya mengikuti. $c_0=\tfrac{3}{4}b_0$ $\tfrac{2}{3}c_0=a_1$ $\tfrac{2}{4}b_0=a_1$ $\tfrac{2}{6}(1-b_0)=a_1$ $b_0=\tfrac{2}{5}$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

Jadi, sekarang kita pergi ke kasing kontinu. Bisa dibayangkan untuk pergi ke interval dan menjaga struktur di atas bijaksana (dengan lebih banyak persamaan daripada tidak diketahui). Namun, apa yang terjadi ketika kita pergi ke (titik) contoh variabel acak? Bagaimana cara pengambilan sampel

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

iteratif, mengarah ke ? Setara dengan kendala , bagaimana cara memastikan misalnya? Demikian juga dengan . Bisakah kita menuliskan batasan dan mengambil sampel Gibbs dari prinsip pertama? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

Jadi, saya tidak tertarik pada cara melakukan pengambilan sampel Gibbs, yang sederhana, tapi saya tertarik pada cara menurunkannya, dan lebih baik bagaimana membuktikannya bekerja (mungkin dalam kondisi tertentu).

sampling mcmc gibbs

— Anne van Rossum
sumber

Menghitung distribusi bersama dari distribusi bersyarat secara umum sangat sulit. Jika distribusi bersyarat dipilih secara sewenang-wenang, distribusi bersama yang sama bahkan mungkin tidak ada. Dalam hal ini, bahkan menunjukkan bahwa distribusi bersyarat konsisten umumnya sulit. Salah satu hasil yang dapat digunakan untuk memperoleh distribusi bersama adalah lemma Brook , dengan memilih status tetap , meskipun saya belum pernah berhasil menggunakannya sendiri untuk tujuan itu. Untuk lebih lanjut tentang topik itu, saya akan melihat karya Julian Besag.

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

Untuk membuktikan bahwa pengambilan sampel Gibbs berhasil, lebih baik mengambil rute yang berbeda. Jika rantai Markov diimplementasikan oleh algoritma sampling memiliki distribusi sebagai distribusi invarian, dan tidak dapat direduksi dan aperiodik , maka rantai Markov akan bertemu dengan distribusi tersebut (Tierney, 1994) . $p$

Pengambilan sampel Gibbs akan selalu meninggalkan invarian distribusi gabungan dari mana distribusi bersyarat diturunkan: Secara kasar, jika dan kami mengambil sampel , kemudian $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

Yaitu, memperbarui dengan pengambilan sampel bersyarat tidak mengubah distribusi sampel. $x$

Namun, pengambilan sampel Gibbs tidak selalu dapat direduksi . Meskipun kita selalu dapat menerapkannya tanpa merusak barang-barang (dalam arti bahwa jika kita sudah memiliki sampel dari distribusi yang diinginkan itu tidak akan mengubah distribusi), itu tergantung pada distribusi gabungan apakah sampling Gibbs benar-benar akan menyatu dengannya (cukup sederhana syarat untuk irreducibilitas adalah bahwa densitasnya positif di mana-mana, ). $p(\mathbf{x}) > 0$

— Lucas
sumber

Masalah menarik tentang kompatibilitas. Saya sekarang sedang memeriksa "Kompatibilitas Distribusi Bersyarat Hingga Terbatas" (Song et al.) Yang menggunakan "rasio matriks" untuk membangun kompatibilitas dan keunikan. Jadi, Gibbs tidak dapat diturunkan dari kendala ini karena mereka tidak ditegakkan untuk memulainya. Saya dapat membayangkan bahwa itu mungkin mengembalikan beberapa distribusi bersama yang tidak tepat (jumlah> 1) jika distribusi bersyarat misalnya tidak cocok. Entah bagaimana, bagaimanapun saya merasa bahwa apa yang saya lakukan adalah sesuatu yang deterministik, sesuatu yang mirip dengan transformasi Radon. Pengambilan sampel Gibbs terlihat sangat ... kotor.

— Anne van Rossum