Entropi dari distribusi yang bising

Katakanlah kita memiliki fungsi sedemikian rupa sehingga dan adalah distribusi, yaitu, . $f:\mathbb{Z}_2^n \to \mathbb{R}$

\forall x \in Z_{2}^{n} f (x) \in {\frac{1}{2^{n}}, \frac{2}{2^{n}}, \dots, \frac{2^{n}}{2^{n}}},

$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$

f

$f$

\sum_{x \in Z_{2}^{n}} f (x) = 1

$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

Entropi Shannon dari didefinisikan sebagai berikut: $f$

H (f) = - \sum_{x \in Z_{2}^{n}} f (x) \log (f (x)) .

$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$

Biarkan menjadi konstan. Katakanlah kita mendapatkan versi -noisy dari , yaitu, kita mendapatkan fungsi sedemikian rupa sehingga untuk setiap . Apa efek dari kebisingan pada entropi? Yaitu, dapatkah kita mengikat dengan fungsi "wajar" dari dan , seperti: atau bahkan, untuk beberapa konstanta . $\epsilon$ $\epsilon$ $f(x)$ $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ $|\tilde{f}(x)- f(x) | < \epsilon$ $x\in \mathbb{Z}_2^n$ $H(\tilde{f})$ $\epsilon$ $H(f)$

(1 - ϵ) H (f) < H (\tilde{f}) < (1 + ϵ) H (f),

$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$

(1 - ϵ^{c} n)^{d} H (f) < H (\tilde{f}) < (1 + ϵ^{c} n)^{d} H (f),

$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$

c, d

$c,d$

Sunting: Mencoba untuk merasakan efek kebisingan pada entropi Shannon, aditif "wajar" apa pun yang terikat pada juga akan sangat menarik. $H(\tilde{f})$

it.information-theory boolean-functions

Batas seperti itu tidak mungkin. Pertimbangkan kasus di mana adalah distribusi yang seragam pada beberapa himpunan ukuran , dan mari menjadi distribusi yang dengan probabilitas menghasilkan elemen terdistribusi secara merata , dan sebaliknya menghasilkan string yang terdistribusi secara merata. $f$ $S$ $2^{\delta \cdot n}$ $\tilde{f}$ $\delta$ $S$

Tidak sulit untuk melihat bahwa Anda dapat beralih dari ke Anda hanya membutuhkan noise paling banyak . Namun, sementara . Dengan demikian, Anda mendapatkan perbedaan untuk kecil sewenang-wenang untuk noise yang sangat rendah. $f$ $\tilde{f}$ $(1-\delta) \cdot 2^{-\delta \cdot n}$ $H(f)= \delta \cdot n$ $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$ $(1 - \delta)^2 \cdot n$ $\delta$

Secara khusus, Anda dapat mengatur , dan mendapatkan noise dan perbedaan entropi . $\delta = \frac{\log(1/\varepsilon)}{n}$ $\varepsilon$ $\approx n - 2\log(1/\varepsilon)$

— Atau Meir
sumber

Maksudmu kira - kira , kan? Bagaimanapun, saya pikir itu mungkin membantu penanya untuk menjawab tentang batas aditif juga, dan bukan hanya tentang ikatan mutliplicative (saya tahu dia bertanya secara spesifik tentang multiplicative).

ϵ n

$\epsilon n$

— Dana Moshkovitz

Terima kasih atas koreksinya. Saya tidak tahu apa jawaban untuk ikatan aditif.

— Atau Meir

Terima kasih atas jawabannya Atau! Tidak ada harapan untuk mendapatkan ikatan multiplikatif pada fungsi dengan entropi . Namun, bagaimana dengan fungsi dengan entropi lebih besar dari 0? Apakah mungkin untuk mendapatkan ikatan seperti itu?

0

$0$

@DanaMoshkovitz - Kasus ikatan tambahan memang sangat relevan. Saya akan menambahkannya ke pertanyaan. Terima kasih telah menunjukkannya!

H (f) \neq 0

$H(f) \neq 0$

H (f) \neq 0

$H(f) \neq 0$