Bisakah informasi timbal balik mendapatkan nilai lebih dari 1


11

Saya memiliki keraguan yang sangat mendasar. Maaf jika ini mengganggu sedikit. Saya tahu bahwa nilai Mutual Information harus lebih besar dari 0, tetapi haruskah itu kurang dari 1? Apakah dibatasi oleh nilai tertinggi?

Terima kasih, Amit.

Jawaban:


18

Ya, memang memiliki batas atas, tetapi tidak 1.

The informasi timbal balik (dalam bit) adalah 1 ketika dua pihak (statistik) satu saham sedikit informasi. Namun, mereka dapat berbagi data besar yang sewenang-wenang. Khususnya, jika mereka berbagi 2 bit, maka itu adalah 2.

I(X,Y)min[H(X),H(Y)]


Jika dua pihak adalah variabel biner yaitu masing-masing hanya memiliki dua hasil yang mungkin {0,1} , maka entropi maks keluar pada ketika dan . Dengan demikian, informasi timbal balik maksimum untuk dua variabel biner adalahX,YH(X),H(Y)1P(X)=0.5P(Y)=0.51
Akseli Palén
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.