Shannon Entropy dari 0,922, 3 Nilai Berbeda

Diberikan serangkaian nilai , Shannon Entropy di log base  mencapai . Dari apa yang saya mengerti, dalam basis  Shannon Entropy dibulatkan adalah jumlah minimum bit dalam biner untuk mewakili satu nilai.$AAAAAAAABC$$2$$0.922$$2$

Diambil dari pengantar di halaman wikipedia ini:

https://en.wikipedia.org/wiki/Entropy_%28informasi_theory%29

Jadi, bagaimana tiga nilai diwakili oleh satu bit?  bisa  ,  bisa  ; tetapi bagaimana Anda bisa mewakili  ?$A$$1$$B$$0$$C$

Terima kasih sebelumnya.

Entropi yang Anda hitung sebenarnya bukan untuk string spesifik tetapi, lebih tepatnya, untuk sumber simbol acak yang menghasilkan $A$ dengan probabilitas  $\tfrac{8}{10}$ , dan$B$dan $C$dengan probabilitas $\tfrac1{10}$ masing-masing, tanpa korelasi antara simbol berturut-turut. Entropi yang dihitung untuk distribusi ini,$0.922$berarti Anda tidak dapat mewakili string yang dihasilkan dari distribusi ini menggunakan rata-rata kurang dari$0.922$bit per karakter.

Mungkin sangat sulit untuk mengembangkan kode yang akan mencapai tingkat ini. ^* Sebagai contoh, coding Huffman akan mengalokasikan kode $0$ , $10$ dan  $11$ untuk $A$ , $B$ dan  $C$ , masing-masing, untuk rata-rata $1.2$  bit per karakter. Itu cukup jauh dari entropi, meskipun masih jauh lebih baik daripada pengkodean naif dua bit per karakter. Setiap upaya pengkodean yang lebih baik mungkin akan mengeksploitasi fakta bahwa bahkan menjalankan sepuluh $A$ berturut - turut lebih mungkin (probabilitas $0.107$ ) daripada $B$ tunggal  .

---

^* Ternyata tidak sulit untuk sedekat yang Anda inginkan - lihat jawaban lain!

Berikut ini adalah pengkodean konkret yang dapat mewakili setiap simbol dalam rata-rata kurang dari 1 bit:

Pertama, pisahkan string input menjadi pasangan karakter yang berurutan (misalnya AAAAAAAABAB menjadi AA | AA | AA | AA | BC). Kemudian menyandikan AA sebagai 0, AB 100, AC 101, BA 110, CA 1110, BB 111100, BC 111101, CB 111110, CC 111111. _{Saya belum mengatakan apa yang terjadi jika ada yang aneh jumlah simbol, tetapi Anda hanya dapat menyandikan simbol terakhir menggunakan beberapa encoding sewenang-wenang, tidak masalah ketika input panjang.}

Ini adalah kode Huffman untuk distribusi pasangan simbol yang independen, dan sesuai dengan pemilihan $n = 2$ dalam jawaban Yuval. Lebih besar$n$ akan mengarah pada kode yang lebih baik (mendekati entropi Shannon dalam batas, seperti yang dia sebutkan).

Jumlah rata-rata bit per pasangan simbol untuk pengkodean di atas adalah

$$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$$ yaitu$1.92/2 = 0.96$ bit per simbol, tidak jauh dari entropi Shannon sebenarnya untuk pengkodean sederhana.

Biarkan $\mathcal{D}$ menjadi distribusi berikut lebih $\{A,B,C\}$ : jika $X \sim \mathcal{D}$ maka $\Pr[X=A] = 4/5$ dan $\Pr[X=B]=\Pr[X=C]=1/10$ .

Untuk setiap $n$ kita dapat membuat kode awalan $C_n\colon \{A,B,C\}^n \to \{0,1\}^*$ sedemikian rupa sehingga

$$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$$

Dengan kata lain, jika kita mengkodekan sejumlah besar sampel independen dari $\mathcal{D}$ , maka rata-rata kita membutuhkan $H(\mathcal{D}) \approx 0.922$ bit per sampel. Secara intuitif, alasan yang bisa kita lakukan dengan kurang dari satu bit adalah bahwa setiap sampel individu sangat mungkin menjadi $A$ .

Ini adalah arti sebenarnya dari entropi, dan ini menunjukkan bahwa menghitung "entropi" dari string $A^8BC$ adalah latihan yang agak tidak berguna.