Berapa nilai maksimum divergensi Kullback-Leibler (KL)

Saya akan menggunakan KL divergence dalam kode python saya dan saya mendapatkan tutorial ini .

Pada tutorial itu, untuk mengimplementasikan KL divergence cukup sederhana.

kl = (model * np.log(model/actual)).sum()

Seperti yang saya pahami, distribusi probabilitas modeldan actualharus <= 1.

Pertanyaan saya adalah, apa nilai maksimum k / terikat maksimum? Saya perlu tahu nilai maksimum yang mungkin dari jarak kl untuk batas maksimum dalam kode saya.

Atau bahkan dengan dukungan yang sama, ketika satu distribusi memiliki ekor yang jauh lebih gemuk dari yang lainnya. Ambil

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ saat $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ maka $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ dan $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$ Ada jarak lain yang tetap dibatasi seperti

• yang $L¹$ jarak, setara dengan total jarak variasi,
• jarak Wasserstein
• jarak Hellinger

Untuk distribusi yang tidak memiliki dukungan yang sama, perbedaan KL tidak dibatasi. Lihatlah definisi:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

jika P dan Q tidak memiliki dukungan yang sama, ada beberapa titik x ′ di mana p ( x ′ ) ≠ 0 dan q ( x ′ ) = 0 , membuat KL menjadi tak terhingga. Ini juga berlaku untuk distribusi diskrit, yang merupakan kasus Anda.$x'$$p(x') \neq 0$$q(x') = 0$

Sunting: Mungkin pilihan yang lebih baik untuk mengukur divergensi antara distribusi probabilitas adalah apa yang disebut jarak Wasserstein yang merupakan metrik dan memiliki sifat yang lebih baik daripada divergensi KL. Ini telah menjadi sangat populer karena penerapannya dalam pembelajaran mendalam (lihat jaringan WGAN)

Untuk menambah jawaban yang sangat baik oleh Carlos dan Xi'an , juga menarik untuk dicatat bahwa kondisi yang cukup untuk divergensi KL menjadi terbatas adalah untuk kedua variabel acak memiliki dukungan kompak yang sama, dan untuk kepadatan referensi yang akan dibatasi. . Hasil ini juga menetapkan batas implisit untuk maksimum divergensi KL (lihat teorema dan bukti di bawah).

---

Teorema: Jika kepadatan p dan q memiliki dukungan kompak X yang sama dan kepadatan p terikat pada dukungan itu (yaitu, memiliki batas atas terbatas) maka K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Bukti: Karena q memiliki dukungan kompak X ini berarti ada beberapa nilai positif maksimum:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Demikian pula, karena p memiliki dukungan kompak X ini berarti ada beberapa nilai supremum positif:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Selain itu, karena ini adalah kepadatan pada dukungan yang sama, dan yang terakhir dibatasi, kami memiliki 0 < q _ ⩽ ˉ p < ∞ . Ini berarti:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Sekarang, membiarkan L _ ≡ ln ( ˉ p ) - ln ( q _ ) menjadi batas atas yang terakhir, kita jelas memiliki 0 ⩽ L _ < ∞ sehingga:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Ini menetapkan batas atas yang diperlukan, yang membuktikan teorema. $\blacksquare$