Perbedaan antara jarak Bhattacharyya dan divergensi KL

33

Saya mencari penjelasan intuitif untuk pertanyaan berikut:

Dalam teori statistik dan informasi, apa perbedaan antara jarak Bhattacharyya dan divergensi KL, sebagai ukuran perbedaan antara dua distribusi probabilitas diskrit?

Apakah mereka sama sekali tidak memiliki hubungan dan mengukur jarak antara dua distribusi probabilitas dengan cara yang sama sekali berbeda?

— JewelSue
sumber

36

The Koefisien Bhattacharyya didefinisikan sebagai dan dapat berubah menjadi jarak sebagai yang disebut jarak Hellinger . Sambungan antara jarak Hellinger ini dan divergensi Kullback-Leibler adalah

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Namun, ini bukan pertanyaan: jika jarak Bhattacharyya didefinisikan sebagai

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ lalu

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ Oleh karena itu, ketidaksetaraan antara kedua jarak tersebut adalah

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ Orang kemudian dapat bertanya-tanya apakah ketidaksetaraan ini mengikuti dari yang pertama. Kebalikannya adalah: karena

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ masukkan deskripsi gambar di sini

kami memiliki pemesanan lengkap

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
sumber

2

Cemerlang! Penjelasan ini harus saya cari dengan penuh semangat. Hanya satu pertanyaan terakhir: dalam hal apa (atau P dan Q) apa yang akan menyebabkan ketimpangan?

— Perhiasan

1

Mengingat bahwa fungsi benar-benar cembung, saya akan menganggap satu-satunya kasus untuk kesetaraan adalah ketika rasio konstan dalam .

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an

5

Dan satu-satunya kasus ketika adalah konstan dalam adalah ketika .

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an

8

Saya tidak tahu ada hubungan eksplisit antara keduanya, tetapi memutuskan untuk menyodok mereka untuk melihat apa yang bisa saya temukan. Jadi ini bukan jawaban yang banyak, tetapi lebih merupakan hal yang menarik.

Untuk kesederhanaan, mari kita garap distribusi diskrit. Kita dapat menulis jarak BC sebagai

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

dan perbedaan KL sebagai

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

Sekarang kita tidak bisa mendorong log di dalam jumlah pada jarak , jadi mari kita coba menarik log ke luar divergensi : $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

Mari kita pertimbangkan perilaku mereka ketika ditetapkan sebagai distribusi yang seragam atas kemungkinan: $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

Di sebelah kiri, kita memiliki log dari sesuatu yang mirip dalam bentuk dengan rata- rata geometrik . Di sebelah kanan, kami memiliki sesuatu yang mirip dengan log dari mean aritmatika . Seperti yang saya katakan, ini bukan jawaban, tapi saya pikir ini memberikan intuisi yang rapi tentang bagaimana jarak BC dan divergensi KL bereaksi terhadap penyimpangan antara dan . $p$ $q$

— Andy Jones
sumber