Kebalikan dari ketidaksamaan Fano?

10

Ketidaksamaan Fano dapat dinyatakan dalam banyak bentuk, dan satu yang sangat berguna adalah karena (dengan sedikit modifikasi) kepada Oded Regev :

Misalkan $X$ adalah variabel acak, dan misalkan $Y = g(X)$ mana $g(\cdot)$ adalah proses acak. Asumsikan adanya prosedur $f$ yang diberikan $y = g(x)$ dapat merekonstruksi $x$ dengan probabilitas $p$ . Maka
$saya (X; Y) \geq hal H (X) - H (hal)$ $I(X; Y) \ge pH(X) − H(p)$

Dengan kata lain, jika saya dapat merekonstruksi, ada banyak informasi timbal balik dalam sistem.

Apakah ada "kebalikan" dari ketidaksetaraan Fano: sesuatu dalam bentuk

"Diberikan saluran dengan informasi timbal balik yang cukup, ada prosedur untuk merekonstruksi input dari output dengan kesalahan yang tergantung pada informasi timbal balik"

Terlalu berlebihan untuk berharap bahwa prosedur ini juga akan efisien, tetapi juga akan menarik untuk melihat contoh (alami) di mana rekonstruksi ada tetapi harus tidak efisien.

it.information-theory randomized-algorithms

— Suresh Venkat
sumber

12

Pertimbangkan prosedur rekonstruksi berikut : mengingat , output sedemikian sehingga dimaksimalkan. Probabilitas bahwa prosedur ini berhasil adalah . Ini juga , di mana $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ adalahmin-entropidari variabel acak dikondisikan pada . Kita tahu bahwa , di mana adalah standar Shannon entropi dari variabel acak . Sekarang kita hanya perlu batas atas dalam hal informasi bersama $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ . $I(X:Y)$

Tulis . Menggunakan ketidaksetaraan yang disebutkan di atas, $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ , atau . $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

Probabilitas bahwa prosedur berhasil di mana dan dipilih secara acak adalah , yang oleh concavity setidaknya . Dengan demikian probabilitas prosedur berhasil setidaknya $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$ .

Prosedur ini adalah optimal: diberikan prosedur keacakan , probabilitas keberhasilan adalah , yang dimaksimalkan titik-bijaksana ketika pasti menghasilkan paling mungkin . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
sumber

1

Jadi, apakah ada pernyataan kuantitatif yang merupakan kebalikan dari ketidaksamaan Fano yang mengikuti argumen ini?

— Mobius dumpling

Apa yang Anda maksud dengan kuantitatif? Argumen yang saya berikan di atas harus mengatakan, "Diberikan saluran dengan informasi timbal balik

, ada prosedur rekonstruksi dengan kesalahan paling banyak

."

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Jawaban dan bukti yang bagus. Jadi, terikat dalam jawaban Anda juga dapat menjadi ditulis ulang karena menurut definisi. Ini muncul dalam IEEE ISIT 1994, dalam sebuah pembicaraan oleh Baumer, sejauh yang saya ketahui.

{hal}_{e r r} \leq 1 - 2^{saya (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Dalam nada yang sama, seseorang bisa mendapatkan mana

{hal}_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

adalah entropi Renyi dari urutan

Di sini,

jadi terikat (2) lebih ketat dari (1).

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— Kodlu
sumber