Mengapa Entropy dimaksimalkan ketika distribusi probabilitas seragam?

32

Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2 $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

Entropi dimaksimalkan jika p seragam.

Secara intuitif, saya bisa memahaminya, seperti jika semua titik data dalam set dipilih dengan probabilitas yang sama ( menjadi kardinalitas set ), maka keacakan atau entropi meningkat. Tetapi jika kita tahu bahwa beberapa titik di himpunan akan terjadi dengan probabilitas lebih dari yang lain (katakanlah dalam kasus distribusi normal, di mana konsentrasi maksimum titik data berada di sekitar rata-rata dan area standar deviasi kecil di sekitarnya, maka keacakan atau entropi harus berkurang. $A$ $1/m$ $m$ $A$ $A$

Tetapi apakah ada bukti matematis untuk ini? Seperti persamaan untuk saya membedakannya sehubungan dengan dan mengaturnya ke 0 atau sesuatu seperti itu. $H(X)$ $p(x)$

Di samping catatan, apakah ada hubungan antara entropi yang terjadi teori informasi dan perhitungan entropi dalam kimia (termodinamika)?

uniform entropy maximum-entropy

— pengguna76170
sumber

2

Pertanyaan ini dijawab (secara sepintas) di stats.stackexchange.com/a/49174/919 .

— whuber

Saya menjadi agak bingung dengan pernyataan lain yang diberikan dalam buku Christopher Bishops yang menyatakan bahwa "untuk variabel nyata tunggal, distribusi yang memaksimalkan entropi adalah Gaussian." Ini juga menyatakan bahwa "distribusi multivariat dengan entropi maksimum, untuk kovarian tertentu, adalah sebuah Gaussian". Bagaimana pernyataan ini valid? Bukankah entropi distribusi seragam selalu maksimal?

— user76170

6

Maksimalisasi selalu dilakukan dengan tunduk pada kendala pada solusi yang mungkin. Ketika kendala adalah bahwa semua probabilitas harus lenyap di luar batas yang telah ditentukan, solusi entropi maksimum seragam. Ketika sebaliknya kendala adalah bahwa ekspektasi dan varians harus sama dengan nilai yang telah ditentukan, solusi ME adalah Gaussian. Pernyataan yang Anda kutip harus dibuat dalam konteks tertentu di mana kendala ini dinyatakan atau setidaknya dipahami secara implisit.

— whuber

2

Saya mungkin juga harus menyebutkan bahwa kata "entropi" berarti sesuatu yang berbeda dalam pengaturan Gaussian daripada di pertanyaan aslinya di sini, karena kemudian kita membahas entropi distribusi kontinu . Ini "diferensial entropi" adalah hewan yang berbeda dari entropi distribusi diskrit. Perbedaan utama adalah bahwa entropi diferensial tidak invarian di bawah perubahan variabel.

— whuber

Jadi yang berarti bahwa maksimisasi selalu berkenaan dengan kendala? Bagaimana jika tidak ada kendala? Maksudku, tidak bisakah ada pertanyaan seperti ini? Distribusi probabilitas mana yang memiliki entropi maksimum?

— user76170

25

Secara heuristik, fungsi kepadatan probabilitas pada dengan entropi maksimum ternyata adalah yang sesuai dengan jumlah pengetahuan paling sedikit dari , dengan kata lain distribusi Seragam. $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

Sekarang, untuk bukti yang lebih formal pertimbangkan hal berikut:

Fungsi kepadatan probabilitas pada adalah sekumpulan bilangan real non-negatif yang menambahkan hingga 1. Entropi adalah fungsi kontinu dari -tuple , dan titik-titik ini terletak pada subset kompak dari , jadi ada -tuple di mana entropi dimaksimalkan. Kami ingin menunjukkan ini terjadi pada dan tidak ada tempat lain. $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ $(1/n,...,1/n)$

Misalkan tidak semuanya sama, katakan . (Jelas ) Kami akan menemukan kepadatan probabilitas baru dengan entropi yang lebih tinggi. Ini kemudian mengikuti, karena entropi dimaksimalkan pada beberapa -tuple, entropi itu secara unik dimaksimalkan pada -tuple dengan untuk semua . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

Sejak , untuk positif kecil, kami memiliki . Entropi minus entropi dari sama dengan $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ $\{p_1,p_2,p_3,...,p_n\}$

- p_{1} \log (\frac{p_{1} + ε}{p_{1}}) - ε \log (p_{1} + ε) - p_{2} \log (\frac{p_{2} - ε}{p_{2}}) + ε \log (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$ Untuk melengkapi buktinya, kami ingin menunjukkan ini positif untuk cukup kecil . Tulis ulang persamaan di atas sebagai

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Mengingat bahwa untuk kecil , persamaan di atas adalah yang positif ketika cukup kecil sejak . $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2} + O (ε^{2}) = ε \log (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Bukti yang kurang ketat adalah sebagai berikut:

Pertimbangkan dulu Lemma berikut:

Biarkan dan kontinu fungsi kepadatan probabilitas pada interval di bilangan real, dengan dan pada . Kami memiliki jika kedua integral ada. Selain itu, ada persamaan jika dan hanya jika untuk semua . $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

Sekarang, misalkan menjadi fungsi kerapatan probabilitas pada , dengan . Membiarkan untuk semua , yang merupakan entropi . Karena itu, kata kami, , dengan kesetaraan jika dan hanya jika seragam. $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{i = 1}^{n} p_{i} \log q_{i} = \sum_{i = 1}^{n} p_{i} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

Juga, wikipedia juga memiliki diskusi singkat tentang ini: wiki

— mitchus
sumber

11

Saya mengagumi upaya untuk menyajikan bukti dasar (bebas Kalkulus). Demonstrasi satu garis yang ketat tersedia melalui ketimpangan AM-GM tertimbang dengan mencatat bahwa = dengan memegang persamaan jika semua sama, QED.

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

— whuber

Saya tidak mengerti bagaimana dapat sama dengan .

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

— user1603472

4

@ user1603472 maksudmu ? Ini karena

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

— HBeel

@Roland saya menarik luar jumlah karena tidak tergantung pada . Maka jumlahnya sama dengan karena adalah densitas fungsi massa probabilitas.

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

— HBeel

Penjelasan yang sama dengan perincian lebih lanjut dapat ditemukan di sini: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— Roland

14

Entropi dalam fisika dan teori informasi tidak berhubungan. Mereka lebih berbeda dari namanya, namun jelas ada hubungan di antara mereka. Tujuan dari metrik entropi adalah untuk mengukur jumlah informasi. Lihat jawaban saya dengan grafik di sini untuk menunjukkan bagaimana perubahan entropi dari distribusi seragam ke yang berpunuk.

Alasan mengapa entropi dimaksimalkan untuk distribusi yang seragam adalah karena itu dirancang demikian! Ya, kami sedang membangun ukuran untuk kurangnya informasi sehingga kami ingin menetapkan nilai tertinggi untuk distribusi yang paling tidak informatif.

Contoh. Saya bertanya, " Bung, di mana mobil saya ?" Jawaban Anda adalah "di suatu tempat di AS antara Samudra Atlantik dan Pasifik." Ini adalah contoh distribusi seragam. Mobil saya bisa berada di mana saja di AS. Saya tidak mendapatkan banyak informasi dari jawaban ini.

Namun, jika Anda mengatakan kepada saya "Saya melihat mobil Anda satu jam yang lalu di Rute 66 menuju dari Washington, DC" - ini bukan distribusi seragam lagi. Mobil itu lebih cenderung berada dalam jarak 60 mil dari DC, daripada di mana pun di dekat Los Angeles. Jelas ada lebih banyak informasi di sini.

Oleh karena itu, ukuran kita harus memiliki entropi tinggi untuk jawaban pertama dan lebih rendah untuk jawaban kedua. Seragam tersebut haruslah distribusi yang paling tidak informatif, pada dasarnya jawaban "Saya tidak tahu".

— Aksakal
sumber

7

Argumen matematis didasarkan pada ketidaksetaraan Jensen untuk fungsi cekung. Yaitu, jika adalah fungsi cekung pada dan adalah titik dalam , maka: $f(x)$ $[a,b]$ $y_1, \ldots y_n$ $[a,b]$ $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

Terapkan ini untuk fungsi cekung dan Jensen ketidaksetaraan untuk dan Anda memiliki buktinya. Perhatikan bahwa mendefinisikan distribusi probabilitas diskrit, jadi jumlahnya adalah 1. Apa yang Anda dapatkan adalah , dengan kesetaraan untuk distribusi seragam. $f(x) = -x \log(x)$ $y_i = p(x_i)$ $p(x_i)$ $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

— Oktane Ganea
sumber

1

Saya benar-benar menemukan bukti ketidaksetaraan Jensen menjadi bukti yang jauh lebih dalam dari pada konsep AM-GM.

— Casebash

4

Di samping catatan, apakah ada hubungan antara entropi yang terjadi teori informasi dan perhitungan entropi dalam kimia (termodinamika)?

Ya ada! Anda dapat melihat karya Jaynes dan banyak lainnya mengikuti karyanya (seperti di sini dan di sini , misalnya).

Tetapi gagasan utamanya adalah bahwa mekanika statistik (dan bidang lain dalam sains juga) dapat dipandang sebagai kesimpulan yang kita lakukan tentang dunia .

Sebagai bacaan lebih lanjut, saya akan merekomendasikan buku Ariel Caticha tentang topik ini.

— kaslusimoes
sumber

1

Penjelasan intuitif:

Jika kita menempatkan lebih banyak massa probabilitas ke dalam satu peristiwa variabel acak, kita harus mengambil beberapa dari peristiwa lain. Yang satu akan memiliki lebih sedikit konten informasi dan lebih banyak berat, yang lain lebih banyak konten informasi dan lebih sedikit berat. Oleh karena itu entropi yang menjadi konten informasi yang diharapkan akan turun karena acara dengan konten informasi yang lebih rendah akan lebih berat.

Sebagai kasus ekstrim bayangkan satu peristiwa mendapatkan probabilitas hampir satu, maka peristiwa lainnya akan memiliki probabilitas gabungan hampir nol dan entropi akan sangat rendah.

— Roland
sumber

0

Gagasan utama: ambil turunan parsial dari setiap , atur semuanya menjadi nol, pecahkan sistem persamaan linear. $p_i$

Ambil sejumlah terbatas mana sebagai contoh. Nyatakan . $p_i$ $i=1,...,n$ $q = 1-\sum_{i=0}^{n-1} p_i$

\begin{aligned} H & = - \sum_{i = 0}^{n - 1} p_{i} \log p_{i} - (1 - q) \log q \\ H * \ln 2 & = - \sum_{i = 0}^{n - 1} p_{i} \ln p_{i} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial H}{\partial p_{i}} & = \ln \frac{q}{p_{i}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$ Kemudian untuk setiap , yaitu, .

q = p_{i}

$q = p_i$

i

$i$

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$

— Jan Fan
sumber

Saya senang Anda menunjukkan ini adalah "ide utama," karena itu hanya bagian dari analisis. Bagian lain - yang mungkin tidak intuitif dan sebenarnya sedikit lebih rumit - adalah untuk memverifikasi ini adalah minimum global dengan mempelajari perilaku entropi karena satu atau lebih dari menyusut ke nol.

p_{i}

$p_i$

— Whuber