Inferensi Variasi, divergensi KL membutuhkan true

Untuk saya (sangat sederhana) memahami inferensi variasional, orang mencoba untuk memperkirakan distribusi yang tidak diketahui dengan menemukan distribusi yang mengoptimalkan berikut ini: $p$ $q$

K L (p | | q) = \sum_{x} p (x) l o g \frac{p (x)}{q (x)}

$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$

Setiap kali saya menginvestasikan waktu untuk memahami inferensi variasional, saya terus memukul formula ini dan tidak bisa membantu tetapi merasa seperti saya kehilangan intinya. Sepertinya saya perlu tahu untuk menghitung . Tetapi intinya adalah saya tidak tahu distribusi ini . $p$ $KL(p||q)$ $p$

Inilah titik tepat yang telah menggangguku setiap kali aku mencoba membaca sesuatu yang variasional. Apa yang saya lewatkan?

EDIT :

Saya akan menambahkan beberapa komentar tambahan di sini sebagai hasil dari jawaban @ wij, saya akan berusaha lebih tepat.

Dalam kasus-kasus yang saya minati, tampaknya masuk akal untuk mempertimbangkan bahwa yang berikut ini berlaku;

p (θ | D) = \frac{p (D | θ) p (θ)}{p (D)} \propto p (D | θ) p (θ)

$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$

$p$ $p(D|\theta)$ $p(\theta)$ $q$ $KL(p(\theta|D) || q)$ $p(D|\theta)p(\theta)$

$KL$

variational-bayes

— Vincent Warmerdam
sumber

$p$

$Y = \{y_i\}_{i=1}^n$ $p(x|Y)$ $p(y|x)$ $p(x)$ $x\in\mathbb{R}^d$

p (x | Y) = \frac{p (x)}{p (Y)} p (Y | x) = \frac{p (x)}{p (Y)} \prod_{i = 1}^{n} p (y_{i} | x) .

$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$

$p(x|Y)$ $p(Y)$ $p(y|x)$ $p(x|Y)$

$q$ $\arg \min_q KL(p||q)$ $p$ $q$ $q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$ $q$

q_{i} \propto \exp (E_{\prod_{j \neq i} q_{j}} \log p (x, Y)),

$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$

di manaFormula yang tepat tidak terlalu menjadi masalah. Intinya adalah perkiraan dapat ditemukan dengan mengandalkan pengetahuan dari benar , dan asumsi pada formulir yang harus diambil perkiraan . $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$ $q$ $p$ $q$

Memperbarui

Berikut ini adalah untuk menjawab bagian yang diperbarui dalam pertanyaan. Saya baru menyadari bahwa saya telah memikirkan tentang . Saya akan selalu menggunakan untuk jumlah sebenarnya, dan untuk perkiraan. Dalam inferensi variasional atau variasional Bayes, diberikan oleh $KL(q||p(x|Y))$ $p$ $q$ $q$

q = \arg min_{q \in Q} K L (q | | p (x | Y)) .

$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$

Dengan batasan yang ditetapkan seperti di atas, solusinya adalah yang diberikan sebelumnya. Sekarang jika Anda berpikir tentang $\mathcal{Q}$

q = \arg min_{q \in Q} K L (p (x | Y) | | q),

$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$

untuk didefinisikan sebagai bagian dari keluarga eksponensial, maka kesimpulan ini disebut propagasi harapan (EP). Solusi untuk dalam kasus ini adalah yang sedemikian sehingga momennya cocok dengan . $\mathcal{Q}$ $q$ $p(x|Y)$

Either way, Anda benar mengatakan bahwa pada dasarnya Anda mencoba memperkirakan distribusi posterior sebenarnya dalam arti KL dengan distribusi dibatasi untuk mengambil beberapa bentuk. $q$

— wij
sumber

Saya tidak bisa berdebat dengan ini. Saya pikir sebagian besar penjelasan termasuk saya sendiri tentang ini.

— Peadar Coyle