Bagaimana cara menghitung Kullback-Leibler divergence / distance?

Saya memiliki tiga set data X, Y dan Z. Setiap set data menentukan frekuensi suatu peristiwa yang terjadi. Sebagai contoh:

Kumpulan Data X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 dan seterusnya ..
Kumpulan Data Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 dan seterusnya ..
Kumpulan Data Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 dan seterusnya ..

Saya harus menemukan perbedaan KL antara X dan Y; dan antara X dan Z. Seperti yang dapat Anda lihat untuk beberapa acara akan ada nilai 0 dan non-nol. Untuk beberapa acara, ketiga set data adalah 0.

Saya akan sangat menghargai jika seseorang dapat membantu saya menemukan perbedaan KL untuk ini. Saya tidak terlalu ahli statistik, jadi saya tidak punya banyak ide. Tutorial yang saya cari di internet agak terlalu rumit untuk pemahaman saya.

Untuk menjawab pertanyaan Anda, kami harus mengingat definisi divergensi KL :

Pertama-tama Anda harus beralih dari apa yang Anda miliki ke distribusi probabilitas. Untuk ini, Anda harus menormalkan data Anda sehingga jumlahnya menjadi satu:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Kemudian, untuk nilai diskrit kami memiliki satu asumsi yang sangat penting yang diperlukan untuk mengevaluasi KL-divergence dan yang sering dilanggar:

$X_i = 0$ harus menyiratkan .$Y_i = 0$

Jika dan sama dengan nol, diasumsikan nol (sebagai nilai batas).$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

Dalam dataset Anda itu berarti Anda dapat menemukan , tetapi tidak misalnya (karena entri kedua).$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Apa yang bisa saya sarankan dari sudut pandang praktis adalah:

baik membuat acara Anda "lebih besar" sehingga Anda akan memiliki lebih sedikit nol

atau mendapatkan lebih banyak data, sehingga Anda dapat meliput bahkan peristiwa langka dengan setidaknya satu entri.

Jika Anda tidak dapat menggunakan saran di atas, maka Anda mungkin perlu menemukan metrik lain di antara distribusi. Sebagai contoh,

Informasi timbal balik , didefinisikan sebagai . Di mana adalah probabilitas gabungan dari dua peristiwa.$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Semoga ini bisa membantu.

Anda mungkin ingin mengatur \ epsilon ke beberapa nilai yang sangat kecil 0,00001 (katakanlah) dan teruskan dengan nilai-nilai yang tidak nol untuk semua Probabilitas dan hitung skor KL.

Tolong beri tahu saya jika ini berhasil.