Clustering: Haruskah saya menggunakan Jensen-Shannon Divergence atau kuadratnya?

Saya mengelompokkan distribusi probabilitas menggunakan algoritme Affinity Propagation , dan saya berencana untuk menggunakan Jensen-Shannon Divergence sebagai metrik jarak saya.

Apakah benar menggunakan JSD itu sendiri sebagai jarak, atau JSD kuadrat? Mengapa? Apa perbedaan yang dihasilkan dari memilih satu atau yang lain?

— AlcubierreDrive
sumber

Saya pikir itu tergantung pada bagaimana menggunakannya.

$P$ $Q$

J (P, Q) = \frac{1}{2} (D (P ∣∣ R) + D (Q ∣∣ R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Sekarang, saya akan tergoda untuk menggunakan akar kuadrat dari Divergensi Jensen-Shannon karena itu adalah metrik , yaitu memenuhi semua sifat "intuitif" dari pengukuran jarak.

Untuk detail lebih lanjut tentang ini, lihat

Endres dan Schindelin, Metrik baru untuk distribusi probabilitas , IEEE Trans. pada Info. Engkau. , vol. 49, tidak. 3, Jul. 2003, hlm. 1858-1860.

Tentu saja, dalam beberapa hal, itu tergantung pada apa yang Anda butuhkan. Jika Anda menggunakannya untuk mengevaluasi beberapa ukuran berpasangan, maka setiap transformasi monoton JSD akan bekerja. Jika Anda mencari sesuatu yang paling dekat dengan "jarak kuadrat", maka JSD itu sendiri adalah jumlah yang analog.

Secara kebetulan, Anda mungkin juga tertarik dengan pertanyaan sebelumnya dan jawaban serta diskusi yang terkait.

— kardinal
sumber

Keren, saya akan membaca "metrik baru untuk distribusi probabilitas" sesegera mungkin. Txh

— ocram

Terima kasih! Saya tidak menyadari bahwa JSD sendiri sudah dianalogikan dengan dist ** 2

— AlcubierreDrive

Terima kasih atas penjelasannya! Hanya pertanyaan singkat. Saya tahu J-Divergence simetris dalam hal itu J(P,Q) = J(Q,P). Saya membaca bahwa divergensi JS simetris dalam P dan Q. Apakah ini artinya JS(P,Q) = JS(Q,P)? Saya menanyakan ini karena saya menggunakan KLdivfungsi dari flexmixpaket di R. Untuk dua distribusi saya, keluaran matriks dari KLdiv tidak simetris. Saya mengharapkan JS untuk memperbaikinya tetapi output dari JS (dihitung menggunakan KL) tidak simetris.

— Legenda

@ Legenda: Ya, divergensi JS simetris. Semoga itu mudah dilihat dari persamaan yang diberikan dalam jawaban. Pastikan Anda mengambil perbedaan KL

P

$P$ dan ukuran titik tengah dan

Q

$Q$ dan ukuran titik tengah untuk masing-masing dari dua istilah. Secara terpisah, tidak akan simetris, tentu saja.

— kardinal