Jensen Shannon Divergence vs Kullback-Leibler Divergence?

14

Saya tahu bahwa KL Divergence tidak simetris dan tidak dapat secara ketat dianggap sebagai metrik. Jika demikian, mengapa digunakan ketika JS Divergence memenuhi properti yang diperlukan untuk metrik?

Apakah ada skenario di mana KL divergence dapat digunakan tetapi tidak JS Divergence atau sebaliknya?

— pengguna2761431
sumber

Keduanya digunakan, hanya saja tergantung pada konteksnya. Ketika jelas bahwa perlu memiliki metrik yang ketat, misalnya saat pengelompokan dilakukan, maka JS adalah pilihan yang lebih disukai. Di sisi lain, dalam pemilihan model penggunaan AIC yang didasarkan pada KL tersebar luas. Bobot Akaike memiliki interpretasi yang bagus yang JS tidak bisa menyediakan mitra atau belum menjadi populer.

— James

5

Saya menemukan jawaban yang sangat matang pada Quora dan meletakkannya di sini untuk orang-orang yang mencarinya di sini:

$𝐾𝐿[𝑞;𝑝]$ $𝑞(𝑥)$ $𝑝(𝑥)$

$𝑝(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)𝑙𝑜𝑔[𝑞(𝑥)/𝑝(𝑥)]$ $𝑝(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝐾𝐿[𝑞;𝑝]$ $𝑞(𝑥)$ $𝑝(𝑥)$

$𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$

— moh
sumber

1

Divergensi KL memiliki interpretasi teoritis informasi yang jelas dan terkenal; tetapi saya pertama kali mendengar bahwa simetriasi KL divergensi disebut JS divergence. Alasan bahwa JS-divergence tidak begitu sering digunakan adalah mungkin karena ia kurang terkenal dan tidak menawarkan properti yang harus dimiliki.

— James LI
sumber