Jarak Kullback – Leibler vs Kolmogorov-Smirnov

37

Saya dapat melihat bahwa ada banyak perbedaan formal antara ukuran jarak Kullback-Leibler vs Kolmogorov-Smirnov. Namun, keduanya digunakan untuk mengukur jarak antar distribusi.

Apakah ada situasi khusus di mana satu harus digunakan dan bukan yang lain?
Apa alasan untuk melakukannya?

— Greg
sumber

Pertanyaan terkait: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

Divergensi KL biasanya digunakan dalam pengaturan teoretis informasi, atau bahkan pengaturan Bayesian, untuk mengukur perubahan informasi antara distribusi sebelum dan sesudah menerapkan beberapa inferensi, misalnya. Ini bukan jarak dalam arti (metrik) yang khas, karena kurangnya kesimetrian dan segitiga, dan karena itu digunakan di tempat-tempat di mana arah itu bermakna.

Jarak KS biasanya digunakan dalam konteks tes non-parametrik. Bahkan, saya jarang melihatnya digunakan sebagai "jarak antara distribusi" generik, di mana jarak , jarak Jensen-Shannon, dan jarak lainnya lebih umum. $\ell_1$

— Suresh Venkatasubramanian
sumber

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

Memang. itu contoh yang bagus. Dan pada kenyataannya sebagian besar versi umum dari batas ekor Chernoff-Hoeffding menggunakan divergensi KL.

— Suresh Venkatasubramanian

2

Cara lain untuk menyatakan hal yang sama dengan jawaban sebelumnya dalam istilah yang lebih awam:

KL Divergence - Sebenarnya memberikan ukuran seberapa besar perbedaan adalah dua distribusi dari satu sama lain. Seperti disebutkan oleh jawaban sebelumnya, ukuran ini bukan metrik jarak yang tepat karena tidak simetris. Yaitu jarak antara distribusi A dan B adalah nilai yang berbeda dari jarak antara distribusi B dan A.

Tes Kolmogorov-Smirnov - Ini adalah metrik evaluasi yang melihat pemisahan terbesar antara distribusi kumulatif dari distribusi tes relatif terhadap distribusi referensi. Selain itu, Anda dapat menggunakan metrik ini seperti z-score terhadap distribusi Kolmogorov untuk melakukan tes hipotesis, apakah distribusi tes adalah distribusi yang sama dengan referensi. Metrik ini dapat digunakan sebagai fungsi jarak karena simetris. Yaitu pemisahan terbesar antara CDF A vs CDF B adalah sama dengan pemisahan terbesar antara CDF B vs CDF A.

— SriK
sumber