Saya kira pertanyaan Anda lebih tentang "makna" dari logaritma itu dan mengapa masing-masing komponen berkontribusi pada makna keseluruhan formula, daripada sekadar formalisme yang menunjukkan koherensi definisi dengan persyaratan tertentu.
Gagasan dalam entropi Shannon adalah untuk mengevaluasi informasi pesan dengan melihat FREQUENCY -nya (yaitu ) dan pada GENERALITY -nya (yaitu ):p(x)−log(p(x))
- p(x) : semakin "sering" pesan semakin sedikit informasi yang dibawa (yaitu lebih mudah diprediksi).
- −log(p(x)) : Semakin banyak pesan "umum" semakin banyak informasi yang akan dibawa.
Istilah pertama adalah tentang frekuensi, adalah tentang generalitasnya.p(x)−log(p(x))
Mulai sekarang, saya akan membahas bagaimana GENERALITY memengaruhi formula entropi akhir.
Jadi, kita dapat mendefinisikan seberapa umum (mis. Hujan / bukan hujan) atau spesifik (mis. Hujan ligth / rata-rata / hujan sangat berat) adalah pesan berdasarkan jumlah bit yang diperlukan untuk menyandikannya:
log2(x)=number_of_bits_to_encode_the_messages
Sekarang, duduk, rileks, dan lihat betapa indahnya Entropi Shannon melakukan trik: didasarkan pada asumsi (masuk akal) bahwa pesan yang lebih umum, akibatnya, lebih FREQUENT.
Misalnya, saya akan mengatakan bahwa hujan akan turun baik jika hujan rata-rata, hujan deras atau sangat deras. Dengan demikian, ia mengusulkan untuk menyandikan GENERALITAS pesan berdasarkan seberapa SERING mereka ... dan begitulah:
log2N=−log21/N=−log2P
dengan frekuensi pesan .Nx
Persamaan tersebut dapat diartikan sebagai: pesan langka akan memiliki penyandian yang lebih lama karena mereka kurang umum, sehingga mereka membutuhkan lebih banyak bit untuk dikodekan dan kurang informatif. Oleh karena itu, memiliki pesan yang lebih spesifik dan langka akan lebih berkontribusi pada entropi daripada memiliki banyak pesan umum dan sering.
Dalam formulasi akhir, kami ingin mempertimbangkan dua aspek. Yang pertama, , adalah bahwa pesan yang sering lebih mudah diprediksi, dan dari perspektif ini kurang informatif (yaitu penyandian yang lebih panjang berarti entropi yang lebih tinggi). Yang kedua, , adalah bahwa pesan yang sering juga bersifat umum, dan dari perspektif ini lebih informatif (yaitu penyandian yang lebih pendek berarti entropi yang lebih rendah).p(x)−log(p(x))
Entropi tertinggi adalah ketika kita memiliki sistem dengan banyak pesan langka dan spesifik. Entropi terendah dengan pesan umum dan sering. Di antaranya, kami memiliki spektrum sistem yang setara dengan entropi yang mungkin memiliki pesan langka dan umum atau pesan yang sering tetapi spesifik.