Saya tahu pekerjaan Shannon dengan entropi, tetapi belakangan ini saya telah bekerja pada struktur data yang ringkas di mana entropi empiris sering digunakan sebagai bagian dari analisis penyimpanan.
Shannon mendefinisikan entropi dari informasi yang dihasilkan oleh sumber informasi diskrit sebagai , di mana adalah probabilitas acara terjadi, misalnya karakter tertentu yang dihasilkan, dan ada kemungkinan acara.
Seperti yang ditunjukkan oleh KIA dalam komentar, entropi empiris adalah entropi dari distribusi empiris dari peristiwa-peristiwa ini, dan dengan demikian diberikan oleh mana adalah jumlah kejadian yang diamati dari peristiwa dan adalah jumlah total peristiwa yang diamati. Ini disebut entropi empiris urutan ke-4 . Gagasan Shannon tentang entropi kondisional memiliki versi empiris orde tinggi yang serupa .
Shannon tidak menggunakan istilah entropi empiris, meskipun ia tentu saja layak mendapat pujian untuk konsep ini. Siapa yang pertama kali menggunakan ide ini dan siapa yang pertama kali menggunakan entropi empiris nama (sangat logis) untuk menggambarkannya?