Siapa yang menciptakan istilah "entropi empiris"?


9

Saya tahu pekerjaan Shannon dengan entropi, tetapi belakangan ini saya telah bekerja pada struktur data yang ringkas di mana entropi empiris sering digunakan sebagai bagian dari analisis penyimpanan.

Shannon mendefinisikan entropi dari informasi yang dihasilkan oleh sumber informasi diskrit sebagai , di mana adalah probabilitas acara terjadi, misalnya karakter tertentu yang dihasilkan, dan ada kemungkinan acara.-saya=1khalsayacatatanhalsayahalsayasayak

Seperti yang ditunjukkan oleh KIA dalam komentar, entropi empiris adalah entropi dari distribusi empiris dari peristiwa-peristiwa ini, dan dengan demikian diberikan oleh mana adalah jumlah kejadian yang diamati dari peristiwa dan adalah jumlah total peristiwa yang diamati. Ini disebut entropi empiris urutan ke-4 . Gagasan Shannon tentang entropi kondisional memiliki versi empiris orde tinggi yang serupa .-saya=1knsayancatatannsayannsayasayan

Shannon tidak menggunakan istilah entropi empiris, meskipun ia tentu saja layak mendapat pujian untuk konsep ini. Siapa yang pertama kali menggunakan ide ini dan siapa yang pertama kali menggunakan entropi empiris nama (sangat logis) untuk menggambarkannya?


"didefinisikan dengan tepat untuk setiap string" terdengar seperti kompleksitas Kolmogorov: apakah itu yang Anda maksud? Jika tidak, dapatkah Anda menunjuk ke tautan yang mendefinisikannya, atau lebih baik memberikan defn dalam pertanyaan itu sendiri?
Suresh Venkat

1
Disebut demikian karena entropi empiris adalah entropi dari distribusi empiris suatu urutan.
Mahdi Cheraghchi

@ SureshVenkat Saya sudah mencoba menguraikan pertanyaan.
pengguna yang dihapus 42

1
Lihatlah Kosaraju S. Rao, Manzini G., "Kompresi string entropi rendah dengan algoritma Lempel-Ziv" (1998), juga. Mereka menganalisis kinerja algoritma Lempel-Ziv menggunakan " entropi empiris ".
Marzio De Biasi

2
Perhatikan bahwa "distribusi empiris" sebenarnya adalah distribusi ML untuk himpunan frekuensi tertentu. Jadi saya bertanya-tanya apakah ini tanggal kembali ke Bayes. Bahkan Laplace telah merenungkan masalah mendefinisikan distribusi dari jumlah empiris.
Suresh Venkat

Jawaban:


3

Saya tertarik pada "entropi empiris" seperti Anda dan kertas paling awal yang saya temukan adalah bahwa dari Kosaraju seperti pengguna "Marzio De Biasi" mengatakan dalam komentarnya.

Tetapi menurut saya definisi sebenarnya dari "entropi empiris" dibuat kemudian dengan menggeneralisasi konsep sebelumnya:

  1. "Huruf Besar dan Ketidakterkompresan" oleh Travis Gagie (2008)
  2. "Emprical entropy" oleh Paul MB Vitányi (2011)

Gagie mengulangi definisi entropi empiris orde ke: k

  • Hk(w)=1|w|minQ{catatan1P(Q=w)}

Qk

  • H(w|X)=minX{K(X)+H(X):|H(X)-catatan1P(X=w)|sayasmsayansayamSebuahl!}

XK(X)
Xk|w||w|

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.