Bagaimana log (p (x, y)) menormalkan informasi mutual point-wise?

9

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]?

Informasi timbal balik yang bijak adalah:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. Sepertinya log (p (x, y)) entah bagaimana harus menyeimbangkan perubahan dalam pembilangnya, tapi saya tidak mengerti persis bagaimana caranya. Ini juga mengingatkan saya pada entropi , tapi sekali lagi saya tidak mengerti hubungan yang tepat. $h=-log(p(x))$

entropy information-theory mutual-information

— 2 sen
sumber

Untuk pemula, informasi timbal balik yang tajam menggunakan logaritma (saya tidak yakin apakah itu salah ketik atau Anda menggunakan kuantitas lain ).

— Piotr Migdal

12

Dari entri Wikipedia tentang informasi timbal balik yang bijaksana :

Informasi timbal balik yang tajam dapat dinormalisasi antara [-1, + 1] yang menghasilkan -1 (dalam batas) untuk tidak pernah terjadi bersama-sama, 0 untuk kemandirian, dan +1 untuk co-kejadian lengkap.

Mengapa itu terjadi? Nah, definisi untuk informasi timbal balik pointwise adalah

p m i \equiv \log [\frac{p (x, y)}{p (x) p (y)}] = \log p (x, y) - \log p (x) - \log p (y),

$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$

sedangkan untuk informasi mutual pointwise yang dinormalisasi adalah:

n p m i \equiv \frac{p m i}{- \log p (x, y)} = \frac{\log [p (x) p (y)]}{\log p (x, y)} - 1.

$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$

Kapan ada:

tidak ada kejadian bersama, , jadi nmpi adalah -1, $\log p(x,y)\to -\infty$
kejadian bersama secara acak, , jadi nmpi adalah 0, $\log p(x,y)= \log[p(x) p(y)]$
selesaikan kejadian bersama, , jadi nmpi adalah 1. $\log p(x,y)= \log p(x) = \log p(y)$

— Piotr Migdal
sumber

Ini akan menjadi jawaban yang lebih lengkap untuk menunjukkan mengapa npmi ada pada interval . Lihat bukti saya di jawaban yang lain.

[- 1, 1]

$[-1,1]$

— Hans

1

Sementara jawaban Piotr Migdal informatif dalam memberikan contoh-contoh di mana nmpi mencapai tiga nilai ekstrem, itu tidak membuktikannya pada interval . Inilah ketimpangan dan turunannya. as untuk setiap peristiwa . Membagi kedua sisi dengan non-negatif , kita memiliki $[-1,1]$

\begin{aligned} \log p (x, y) \\ \leq & \log p (x, y)) - \log p (x) - \log p (y) \\ = & \log \frac{p (x, y)}{p (x) p (y)} =: pmi (x; y) \\ = & \log p (y | x) + \log p (y | x) - \log p (x, y) \\ \leq & - \log p (x, y) \end{aligned}

$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$

- \log p (A) \geq 0

$-\log\,p(A)\ge0$

A

$A$

h (x, y) := - \log p (x, y)

$h(x,y):=-\log\,p(x,y)$

- 1 \leq nmpi (x; y) := \frac{mpi(x;y)}{h (x, y)} \leq 1.

$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$

— Hans
sumber