Apa itu entropi empiris?

Dalam definisi set bersama (dalam "Elemen Teori Informasi", bab 7.6, hal. 195), kita menggunakan

- \frac{1}{n} catatan hal (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ sebagai entropi empiris dari sebuah -berikutnya dengan . Saya tidak pernah menemukan terminologi ini sebelumnya. Itu tidak didefinisikan secara eksplisit di mana saja sesuai dengan indeks buku ini.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Pertanyaan saya pada dasarnya adalah: Mengapa entropi empiris tidak mana adalah distribusi empiris? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Apa perbedaan dan persamaan yang paling menarik antara kedua formula ini? (dalam hal properti yang mereka bagikan / tidak bagikan).

information-theory entropy

— blubb
sumber

Bukankah kedua ekspresi itu secara aljabar sama?

— whuber

@whuber: Tidak, mereka jumlah yang berbeda, dengan tujuan yang berbeda, saya percaya. Perhatikan bahwa yang pertama menggunakan ukuran true

diasumsikan dikenal sebagai apriori. Yang kedua tidak.

p

$p$

— kardinal

Yang pertama berkaitan dengan akumulasi entropi dari waktu ke waktu dan bagaimana hal itu dibandingkan dengan entropi sebenarnya dari sistem. SLLN dan CLT memberi tahu banyak tentang bagaimana perilakunya. Yang kedua berkaitan dengan memperkirakan entropi dari data dan beberapa propertinya juga dapat diperoleh melalui dua alat yang sama yang baru saja disebutkan. Tapi, sedangkan yang pertama tidak bias, yang kedua tidak di bawah

. Saya dapat mengisi beberapa detail jika itu akan membantu.

p

$p$

— kardinal

@ cardinal: Jika Anda akan memberikan komentar di atas sebagai jawaban (mungkin juga menjelaskan apa itu SLLN dan CLT? - Saya tidak tahu ini) Saya dengan senang hati akan

— mendukung

Oke, saya akan coba posting lagi nanti. Sementara itu, SLLN = "Hukum angka besar yang kuat" dan CLT = "teorema batas pusat". Ini adalah singkatan yang cukup standar yang kemungkinan akan Anda temui lagi. Bersulang. :)

— kardinal

Jawaban:

Jika data , yaitu, -sequence dari ruang sampel , probabilitas titik empiris $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ untuk. Di siniadalah satu jikadan nol sebaliknya. adalah frekuensi relatifdi urutan diamati. Theentropidari distribusi probabilitas yang diberikan oleh probabilitas titik empiris adalah

\hat{hal} (x) = \frac{1}{n} | {saya ∣ x_{saya} = x} | = \frac{1}{n} \sum_{saya = 1}^{n} δ_{x} (x_{saya})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

Identitas kedua mengikuti dengan mempertukarkan dua jumlah dan mencatat bahwa

Dari sini kita melihat bahwa

H (\hat{hal}) = - \sum_{x \in X} \hat{hal} (x) catatan \hat{hal} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{saya = 1}^{n} δ_{x} (x_{saya}) catatan \hat{hal} (x) = - \frac{1}{n} \sum_{saya = 1}^{n} catatan \hat{hal} (x_{saya}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\sum_{x \in X} δ_{x} (x_{saya}) catatan \hat{hal} (x) = catatan \hat{hal} (x_{saya}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

dengan

dan menggunakan terminologi dari pertanyaan ini adalah entropi empiris daridistribusi probabilitas empiris. Seperti yang ditunjukkan oleh @ cardinal dalam komentar,

H (\hat{hal}) = - \frac{1}{n} catatan \hat{hal} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

adalah entropi empiris dari distribusi probabilitas yang diberikan dengan probabilitas titik

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

— NRH
sumber

(+1) Ini memberikan ilustrasi yang bagus tentang apa yang Cover dan Thomas sebut sebagai "karakter referensial diri yang aneh" dari entropi. Namun, saya tidak yakin jawabannya benar-benar mengatasi (secara langsung) kekhawatiran OP yang sebenarnya. :)

— kardinal

@ cardinal, saya tahu, dan jawabannya hanya komentar panjang untuk membuat poin khusus ini. Saya tidak ingin mengulangi poin Anda.

— NRH

Anda seharusnya tidak merasa tidak enak atau ragu untuk mengirim jawaban Anda sendiri termasuk ekspansi pada komentar saya atau orang lain. Saya sangat lambat dan buruk dalam memposting jawaban, dan tidak akan pernah tersinggung jika Anda atau orang lain memposting jawaban yang memasukkan aspek-aspek yang sebelumnya mungkin saya komentari. Justru sebaliknya, sebenarnya. Bersulang.

— kardinal

Entropi didefinisikan untuk distribusi probabilitas. Ketika Anda tidak memiliki satu, tetapi hanya data, dan pasang estimator naif dari distribusi probabilitas, Anda mendapatkan entropi empiris. Ini paling mudah untuk distribusi diskrit (multinomial), seperti yang ditunjukkan pada jawaban lain, tetapi juga dapat dilakukan untuk distribusi lain dengan binning, dll.

Masalah dengan entropi empiris adalah bahwa ia bias untuk sampel kecil. Estimasi naif dari distribusi probabilitas menunjukkan variasi tambahan karena kebisingan pengambilan sampel. Tentu saja seseorang dapat menggunakan estimator yang lebih baik, misalnya, prior yang cocok untuk parameter multinomial, tetapi mendapatkannya benar-benar tidak bias tidaklah mudah.

Di atas berlaku untuk distribusi bersyarat juga. Selain itu, semuanya relatif terhadap binning (atau kernelisasi), jadi Anda sebenarnya memiliki semacam entropi diferensial.

— scellus
sumber

Kita harus berhati-hati dengan apa yang kita sebut sebagai entropi empiris di sini. Perhatikan bahwa penaksir plug-in selalu bias rendah untuk semua ukuran sampel, meskipun bias akan berkurang dengan bertambahnya ukuran sampel. Ini tidak hanya sulit untuk mendapatkan penduga yang tidak bias untuk entropi, tetapi agak tidak mungkin dalam kasus umum. Ada penelitian yang cukup intens di bidang ini selama beberapa tahun terakhir, terutama dalam literatur neuroscience. Sebenarnya, ada banyak hasil negatif.

— kardinal