Apa yang dikatakan entropi kepada kita?

Saya membaca tentang entropi dan mengalami kesulitan mengkonseptualisasikan apa artinya dalam kasus berkelanjutan. Halaman wiki menyatakan sebagai berikut:

Distribusi probabilitas peristiwa, ditambah dengan jumlah informasi setiap peristiwa, membentuk variabel acak yang nilainya diharapkan adalah jumlah rata-rata informasi, atau entropi, yang dihasilkan oleh distribusi ini.

Jadi jika saya menghitung entropi yang terkait dengan distribusi probabilitas yang kontinu, apa yang sebenarnya saya katakan? Mereka memberikan contoh tentang membalik koin, jadi kasing, tetapi jika ada cara intuitif untuk menjelaskan melalui contoh seperti itu dalam kasing kontinu, itu akan bagus!

Jika ini membantu, definisi entropi untuk variabel acak kontinu adalah sebagai berikut: $X$

mana adalah fungsi distribusi probabilitas.

H (X) = - \int P (x) \log_{b} P (x) d x

$H(X)=-\int P(x)\log_b P(x)dx$

P (x)

$P(x)$

Untuk mencoba dan membuat ini lebih konkret, pertimbangkan kasus , kemudian, menurut Wikipedia , entropinya adalah $X\sim \text{Gamma}(\alpha,\beta)$

\begin{aligned} H (X) & = E [- \ln (P (X))] \\ = E [- α \ln (β) + \ln (Γ (α)) + \ln (Γ (α)) - (α - 1) \ln (X) + β X] \\ = α - \ln (β) + \ln (Γ (α)) + (1 - α) (\frac{d}{d α} \ln (Γ (α))) \end{aligned}

$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$

Dan sekarang kita telah menghitung entropi untuk distribusi kontinu (distribusi Gamma) dan jadi jika saya sekarang mengevaluasi ungkapan itu, , diberikan dan , apa yang sebenarnya kuantitas katakan kepada saya? $H(X)$ $\alpha$ $\beta$

entropy

— Ahli Statistik Rusty
sumber

(+1) Kutipan itu merujuk pada bagian yang benar-benar tidak menguntungkan. Ini berusaha, dengan cara yang melelahkan dan buram, untuk menggambarkan dan menafsirkan definisi matematika dari entropi. Definisi itu adalah

. Hal ini dapat dilihat sebagai harapan

di mana

adalah pdf dari suatu variabel acak

. Ia mencoba untuk mengkarakterisasi

\int f (x) \log (f (x)) d x

$\int f(x)\log(f(x))dx$

\log (f (X))

$\log(f(X))$

f

$f$

X

$X$

\log (f (x))

$\log(f(x))$ sebagai "jumlah informasi" yang terkait dengan angka

x

$x$

— whuber

Layak untuk ditanyakan, karena ada masalah teknis yang rumit namun penting: versi entropi yang terus-menerus tidak cukup menikmati properti yang sama dengan versi diskrit (yang memang memiliki intepretasi intuitif dan alami dalam hal informasi). @Tim AFAIK, utas tentang Matematika itu hanya membahas kasus diskrit .

— whuber

@RustyStatistician menganggap

memberi tahu Anda betapa mengejutkannya hasil x. Anda kemudian menghitung kejutan yang diharapkan.

- \log (f (x))

$-\log\left(f\left(x\right)\right)$

— Adrian

Kembali ke referensi teknis @whuber, ini mungkin menarik.

— Sean Easter

Jika Anda tertarik pada teknis: Entropy adalah berdasarkan pseudo-metrik yang disebut divergensi Kullback-Leibler yang digunakan untuk menggambarkan jarak antara peristiwa dalam ukuran masing-masing, lihat projecteuclid.org/euclid.aoms/1177729694 untuk yang asli ( dan groudbreaking) karya Kullback dan Leibler. Konsep ini juga muncul kembali dalam kriteria pemilihan model seperti AIC dan BIC.

— Jeremias K

Jawaban:

Entropi memberi tahu Anda seberapa banyak ketidakpastian dalam sistem. Katakanlah Anda sedang mencari kucing, dan Anda tahu bahwa itu ada di suatu tempat antara rumah Anda dan tetangga, yang berjarak 1,6 km. Anak-anak Anda memberi tahu Anda bahwa kemungkinan kucing berada pada jarak dari rumah Anda digambarkan paling baik oleh distribusi beta . Jadi kucing bisa di mana saja antara 0 dan 1, tetapi lebih cenderung berada di tengah, yaitu . $x$ $f(x;2,2)$ $x_{max}=1/2$

Mari kita tancapkan distribusi beta ke persamaan Anda, maka Anda mendapatkan . $H=-0.125$

Selanjutnya, Anda bertanya kepada istri Anda dan dia memberi tahu Anda bahwa distribusi terbaik untuk menggambarkan pengetahuannya tentang kucing Anda adalah distribusi yang seragam. Jika Anda tancapkan ke persamaan entropi Anda, Anda mendapatkan . $H=0$

Distribusi seragam dan beta memungkinkan kucing berada di antara 0 dan 1 mil dari rumah Anda, tetapi ada lebih banyak ketidakpastian dalam seragam, karena istri Anda benar-benar tidak tahu di mana kucing itu bersembunyi, sementara anak-anak punya ide , mereka pikir itu lebih kemungkinan berada di suatu tempat di tengah. Itu sebabnya entropi Beta lebih rendah dari Uniform.

Anda dapat mencoba distro lain, mungkin tetangga Anda memberitahu Anda kucing suka berada di dekat salah satu rumah, sehingga distribusi beta-nya dengan . nya harus lebih rendah daripada yang seragam lagi, karena Anda mendapat ide tentang di mana mencari kucing. Tebak apakah entropi informasi tetangga Anda lebih tinggi atau lebih rendah daripada anak-anak Anda? Saya akan bertaruh pada anak-anak setiap hari tentang masalah ini. $\alpha=\beta=1/2$ $H$

MEMPERBARUI:

Bagaimana cara kerjanya? Salah satu cara untuk memikirkan ini adalah mulai dengan distribusi yang seragam. Jika Anda setuju bahwa itu adalah yang paling tidak pasti, maka pikirkan untuk mengganggunya. Mari kita lihat kasus diskrit untuk kesederhanaan. Ambil dari satu titik dan tambahkan ke yang lain seperti berikut: $\Delta p$

p_{i}^{'} = p - Δ p

$p_i'=p-\Delta p$

p_{j}^{'} = p + Δ p

$p_j'=p+\Delta p$

H - H^{'} = p_{i} \ln p_{i} - p_{i} \ln (p_{i} - Δ p) + p_{j} \ln p_{j} - p_{j} \ln (p_{j} + Δ p)

$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$

= p \ln p - p \ln [p (1 - Δ p / p)] + p \ln p - p \ln [p (1 + Δ p / p)]

$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$

= - \ln (1 - Δ p / p) - \ln (1 + Δ p / p) > 0

$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$

$n$ $n\to\infty$ $n$ $n=1$ $n=13$

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

— Aksakal
sumber

(+1) Saya akan menunggu untuk melihat interpretasi orang lain tetapi saya sangat suka yang ini. Jadi sepertinya bisa memanfaatkan entropi sebagai ukuran kepastian yang Anda butuhkan untuk membandingkannya dengan distribusi lain? Yaitu, nomor itu sendiri tidak memberi tahu Anda banyak?

— RustyStatistician

@RustyStatistician, saya tidak akan mengatakan nilai absolutnya sama sekali tidak berarti., Tapi ya, ini paling berguna ketika digunakan untuk membandingkan kondisi sistem. Cara mudah untuk menginternalisasi entropi adalah dengan menganggapnya sebagai ukuran ketidakpastian

— Aksakal

Masalah dengan jawaban ini adalah bahwa istilah "ketidakpastian" dibiarkan tidak terdefinisi.

— kjetil b halvorsen

istilah ini dibiarkan tidak pasti

— Aksakal

Ini sangat bagus.

— Astrid

Saya ingin menambahkan jawaban langsung untuk pertanyaan ini:

apa yang sebenarnya disampaikan kuantitas itu kepada saya?

$\log \frac{1}{p(x)}$

$E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$

— Lerner Zhang
sumber