Saya mencoba mengukur sekarang banyak informasi yang tidak berlebihan (aktual) yang terkandung dalam file saya. Ada yang menyebut ini jumlah entropi.
Tentu saja ada standar p (x) log {p (x)}, tapi saya pikir Shannon hanya mempertimbangkannya dari sudut pandang transmisi melalui saluran. Karena itu rumus membutuhkan ukuran blok (misalnya dalam bit, 8 biasanya). Untuk file besar, perhitungan ini cukup berguna, mengabaikan korelasi jarak pendek ke jarak jauh antara simbol.
Ada metode pohon biner dan Ziv-Lempel, tetapi ini sifatnya sangat akademis.
Kompresibilitas juga dianggap sebagai ukuran entropi, tetapi tampaknya tidak ada batas yang lebih rendah untuk tingkat kompresi. Untuk file saya hiss.wav,
- original hiss.wav = 5.2 MB
- entropi melalui rumus Shannon = 4,6 MB
- hiss.zip = 4,6 MB
- hiss.7z = 4.2 MB
- hiss.wav.fp8 = 3.3 MB
Apakah ada beberapa metode yang masuk akal untuk mengukur berapa banyak entropi yang ada dalam hiss.wav?