Kullback-Leibler divergence TANPA teori informasi

Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi.

Untuk menguraikan pemahaman saya dari latar belakang teori informasi: Jika kita memiliki variabel acak dengan jumlah hasil yang terbatas, ada pengkodean optimal yang memungkinkan kita untuk mengkomunikasikan hasilnya dengan orang lain dengan rata-rata pesan terpendek (saya menemukan ini termudah untuk gambar dalam hal bit). Panjang pesan yang diharapkan yang perlu dikomunikasikan hasilnya diberikan oleh jika pengkodean optimal digunakan. Jika Anda menggunakan pengodean sub optimal, maka KL divergence memberi tahu kami rata-rata berapa lama lagi pesan kami.

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

Saya suka penjelasan ini, karena secara intuitif berhubungan dengan asimetri divergensi KL. Jika kita memiliki dua sistem yang berbeda, yaitu dua koin yang dimuat berbeda, mereka akan memiliki penyandian optimal yang berbeda. Saya entah bagaimana secara naluriah merasa bahwa menggunakan pengkodean sistem kedua untuk yang pertama adalah "sama buruknya" dengan menggunakan pengkodean sistem pertama untuk yang kedua. Tanpa melalui proses berpikir tentang bagaimana saya meyakinkan diri sendiri, saya sekarang cukup senang bahwa memberi Anda ini "panjang pesan ekstra diharapkan", ketika menggunakan pengkodean untuk .

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

Namun, sebagian besar definisi divergensi KL, termasuk Wikipedia kemudian membuat pernyataan (menjaga ini dalam istilah diskrit sehingga dapat dibandingkan dengan interpretasi teori informasi yang bekerja jauh lebih baik dalam istilah diskrit sebagai bit diskrit) bahwa jika kita memiliki dua probabilitas diskrit distribusi, lalu KL memberikan beberapa metrik "betapa berbedanya mereka". Saya belum melihat penjelasan tunggal tentang bagaimana kedua konsep ini bahkan terkait. Saya sepertinya ingat dalam bukunya tentang inferensi, Dave Mackay membuat poin tentang bagaimana kompresi dan inferensi data pada dasarnya adalah hal yang sama, dan saya menduga pertanyaan saya benar-benar terkait dengan ini.

Terlepas dari apakah itu benar atau tidak, pertanyaan yang saya pikirkan adalah seputar masalah kesimpulan. (Keeping things discrete), jika kita memiliki dua sampel radioaktif, dan kita tahu bahwa salah satunya adalah bahan tertentu dengan radioaktivitas yang diketahui (ini adalah fisika yang meragukan tetapi mari kita berpura-pura bahwa alam semesta bekerja seperti itu) dan dengan demikian kita tahu distribusi "benar" klik radioaktif yang harus kita ukur harus poissonian dengan dikenal , apakah adil untuk membangun distribusi empiris untuk kedua sampel dan membandingkan divergensi KL-nya dengan distribusi yang diketahui dan mengatakan semakin rendah kemungkinan bahan itu?$\lambda$

Beranjak dari fisika yang meragukan, jika saya tahu dua sampel ditarik dari distribusi yang sama tetapi saya tahu mereka tidak dipilih secara acak, akan membandingkan divergensi KL mereka dengan yang dikenal, distribusi global memberi saya rasa "seberapa bias" sampel tersebut , relatif terhadap satu dan lainnya?

Dan akhirnya, jika jawaban untuk pertanyaan sebelumnya adalah ya, lalu mengapa? Apakah mungkin untuk memahami hal-hal ini dari sudut pandang statistik saja tanpa membuat (mungkin renggang) koneksi ke teori informasi?

Ada pendekatan statistik murni untuk perbedaan Kullback-Leibler: ambil sampel iid dari distribusi p ⋆ yang tidak diketahui dan pertimbangkan kecocokan potensial oleh keluarga distribusi, F = { p $X_1,\ldots,X_n$$p^\star$ Kemungkinan yang sesuai didefinisikan sebagai L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ ( x i ) dan logaritma adalah ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ Karena itu, yang merupakan bagian menarik dari perbedaan Kullback-Leibler antara p θ dan p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ bagian lainnya ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ berada di sana untuk memiliki [dalam θ ]minimum H ( p θ | p ⋆ ) sama dengan nol. $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Sebuah buku yang menghubungkan divergensi, teori informasi dan inferensi statistik adalah estimasi parameter Optimal Rissanen , yang saya ulas di sini .

Berikut ini adalah interpretasi statistik dari perbedaan Kullback-Leibler, yang diambil secara longgar dari IJ Good ( Bobot bukti: Sebuah survei singkat , Bayesian Statistics 2, 1985).

Berat bukti.

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

Perbedaan Kullback-Leibler

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Saya belum melihat penjelasan tunggal tentang bagaimana kedua konsep ini bahkan terkait.

Saya tidak tahu banyak tentang teori informasi, tetapi ini adalah bagaimana saya berpikir tentang hal itu: ketika saya mendengar seseorang teori informasi mengatakan "panjang pesan," otak saya mengatakan "kejutan." Kejutan adalah 1.) acak dan 2.) subyektif.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

Alih-alih memikirkan "betapa berbedanya mereka", saya berpikir tentang "peningkatan kejutan yang diharapkan dari penggunaan distribusi yang salah." Ini semua dari properti logaritma.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

Edit

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Sunting 2: sepertinya saya bukan satu-satunya yang menganggap ini sebagai "kejutan." Dari sini :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$ (Kullback dan Leibler, 1951; Burnham dan Anderson, 1998) dan dapat diartikan sebagai ukuran 'kejutan' (Good, 1956), penalti logaritmik (Bernardo, 1979) atau ketidakpastian.