Perkirakan divergensi Kullback Leibler (KL) dengan monte carlo

10

Saya ingin memperkirakan perbedaan KL antara dua distribusi kontinu f dan g. Namun, saya tidak bisa menuliskan kepadatan untuk f atau g. Saya dapat mengambil sampel dari kedua f dan g melalui beberapa metode (misalnya, rantai markov monte carlo).

Perbedaan KL dari f ke g didefinisikan seperti ini

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Ini adalah harapan dari berkenaan dengan f sehingga Anda dapat membayangkan beberapa perkiraan monte carlo $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Di mana saya mengindeks N sampel yang diambil dari f (yaitu untuk i = 1, ..., N) $x_i \sim f()$

Namun, karena saya tidak tahu f () dan g (), saya bahkan tidak bisa menggunakan estimasi monte carlo ini. Apa cara standar memperkirakan KL dalam situasi ini?

Suntingan: Saya TIDAK tahu kepadatan tidak normal untuk f () atau g ()

kullback-leibler

— frelk
sumber

Sudahkah Anda mempertimbangkan untuk menggunakan ecdf?

— Toby

ini akan bekerja tetapi bisa lambat untuk pilihan f dan g yang sulit (tutup, atau tutup). Jika Anda memutuskan untuk mengabaikan sampel dari ekor maka Anda mungkin lebih beruntung dengan batas atas roc.

— Christian Chapman

Pada dasarnya duplikat: stats.stackexchange.com/questions/211175/...

— kjetil b halvorsen

7

Saya berasumsi Anda dapat mengevaluasi dan hingga konstan normalisasi. Nyatakan dan . $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

Pengukur yang konsisten yang dapat digunakan adalah mana adalah penaksir pengambilan sampel penting untuk rasio . Di sini Anda menggunakan dan masing-masing sebagai densitas instrumental untuk dan , dan untuk menargetkan rasio log dari kepadatan yang tidak dinormalisasi.

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

Jadi, biarkan , , dan . Pembilang (1) konvergen ke . Penyebut konvergen ke . Rasio ini konsisten dengan teorema pemetaan kontinu. Log rasio konsisten dengan pemetaan berkelanjutan lagi. $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

Mengenai bagian lain dari estimator, berdasarkan hukum angka besar.

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

Motivasi saya adalah sebagai berikut:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ Jadi saya memecahnya menjadi potongan-potongan yang bisa ditelusuri.

Untuk ide-ide lebih lanjut tentang cara mensimulasikan rasio likelhood, saya menemukan sebuah makalah yang memiliki beberapa: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Taylor
sumber

(+1) Penting untuk dicatat di sini bahwa sampel penting dapat memiliki varians yang sangat tinggi (bahkan varians tak terbatas) jika distribusi target memiliki ekor yang lebih gemuk daripada distribusi tempat Anda mengambil sampel dan / atau jumlah dimensi sama sekali besar.

— David J. Harris

@ DavidJ.Harris sangat sangat benar

— Taylor

6

Di sini saya berasumsi bahwa Anda hanya dapat mencicipi dari model; fungsi kepadatan yang tidak normal tidak tersedia.

Anda menulis itu

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

di mana saya telah menetapkan rasio probabilitas menjadi . Alex Smola menulis, meskipun dalam konteks yang berbeda Anda dapat memperkirakan rasio ini "dengan mudah" hanya dengan melatih classifier. Mari kita asumsikan Anda telah memperoleh classifier , yang dapat memberi tahu Anda probabilitas bahwa observasi telah dihasilkan oleh . Perhatikan bahwa . Kemudian: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

di mana langkah pertama adalah karena Bayes dan yang terakhir mengikuti dari asumsi bahwa . $p(g) = p(f)$

Mendapatkan penggolong seperti itu bisa sangat mudah karena dua alasan.

Pertama, Anda dapat melakukan pembaruan stokastik. Itu berarti bahwa jika Anda menggunakan pengoptimal berbasis gradien, seperti tipikal untuk regresi logistik atau jaringan saraf, Anda bisa menggambar sampel dari masing-masing dan dan membuat pembaruan. $f$ $g$

Kedua, karena Anda memiliki data yang hampir tidak terbatas - Anda dapat mengambil sampel dan sampai mati - Anda tidak perlu khawatir tentang overfitting atau sejenisnya. $f$ $g$

— bayerj
sumber

0

Selain metode klasifikasi probabilistik yang disebutkan oleh @bayerj, Anda juga dapat menggunakan batas bawah dari perbedaan KL yang diturunkan dalam [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ mana adalah arbitrer fungsi. Dalam beberapa kondisi ringan, batasnya ketat untuk:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Untuk memperkirakan divergensi KL antara dan , kami memaksimalkan wrt batas bawah ke fungsi . $f$ $g$ $T(x)$

Referensi:

[1] Nguyen, X., Wainwright, MJ dan Jordan, MI, 2010. Memperkirakan fungsi divergensi dan rasio kemungkinan dengan minimalisasi risiko cembung. Transaksi IEEE tentang Teori Informasi, 56 (11), hlm.5847-5861.

[2] Nowozin, S., Cseke, B. dan Tomioka, R., 2016. f-gan: Melatih pengambil sampel saraf generatif menggunakan minimalisasi divergence variasional. Dalam Kemajuan dalam sistem pemrosesan informasi saraf (hal. 271-279).

— Cuong
sumber