Log probabilitas vs produk probabilitas


17

Menurut ini artikel wikipedia , satu dapat mewakili produk probabilitas x⋅ysebagai -log(x) - log(y)membuat perhitungan lebih komputasi optimal. Tetapi jika saya mencoba sebuah contoh katakanlah:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

Produk probabilitas p1dan p2lebih tinggi dari p3dan p4, tetapi probabilitas log lebih rendah.

Bagaimana bisa?


2
Apa yang salah? Probabilitas yang lebih kecil akan memberikan nilai yang lebih besar karena meningkat dari 0 ketika p = 1 menuju sebagai p 0 . logp0p=1p0
Dilip Sarwate

5
(+1) Mengapa downvote? Saya pikir ini adalah pertanyaan tentang topik yang ditulis dengan baik, meskipun sangat mendasar.
Juho Kokkala

@DilipSarwate masalah saya bukan dengan bagian matematika, tetapi dengan cara khusus ini mewakili probabilitas. Mungkin itu hanya masalah merasa nyaman dengan itu.
spacemonkey

Jawaban:


22

Saya khawatir Anda salah paham tentang apa maksud artikel itu. Ini bukan kejutan besar, karena agak tidak jelas ditulis. Ada dua hal berbeda yang terjadi.

Yang pertama adalah bekerja pada skala log.

Artinya, alih-alih " " (ketika Anda memiliki independensi), Anda dapat menulis " log ( p A B ) = log ( p A ) + log (pAB=pApB ". Jika Anda membutuhkan probabilitas yang sebenarnya, Anda dapat exponentiate di akhir untuk mendapatkan kembali p A B :log(pAB)=log(pA)+log(pB)pAB tetapi jika diperlukan sama sekali, eksponensial biasanya akan diserahkan ke langkah terakhir yang mungkin. Sejauh ini baik.pAB=elog(pA)+log(pB),

Bagian kedua adalah mengganti dengan - log p . Ini agar kami bekerja dengan nilai-nilai positif.logplogp

Secara pribadi, saya tidak benar-benar melihat banyak nilai dalam hal ini, terutama karena ia membalikkan arah pemesanan apa pun ( meningkat monoton, jadi jika p 1 < p 2 , maka log ( p A ) < log ( p 2 ) ; ini order dibalik dengan - log p ).logp1<p2log(pA)<log(p2)logp

logp

si=log(pi)spAB=e[sA+sB].


2
+1 "Pikirkan probabilitas log negatif sebagai skala" jarang "- semakin besar angkanya, semakin jarang kejadiannya"
Zhubarb
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.