Apakah ada gunanya kuantitas

\int f (x)^{2} d x

$\int f(x)^2 dx$ dalam statistik atau teori informasi?

probability entropy information-theory

— charles.y.zheng
sumber

Entropi Renyi

— kardinal

f

$f$ adalah pdf, kan?

— whuber

Ya,

f

$f$ adalah kerapatan.

— charles.y.zheng

@ kardinal Jawab!

@ MBb: Ok, saya akan mencoba untuk mengetikkan sesuatu nanti yang layak untuk dijawab. :)

— kardinal

Membiarkan menunjukkan fungsi kepadatan probabilitas (baik sehubungan dengan Lebesgue atau menghitung ukuran, masing-masing), kuantitas $f$ $\newcommand{\rd}{\mathrm{d}}$ dikenal sebagaientropi Renyipesanan. Ini adalah generalisasi dari entropi Shannon yang mempertahankan banyak properti yang sama. Untuk kasus, kami menafsirkansebagai, dan ini sesuai dengan entropi Shannon standar.

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi memperkenalkan ini di makalahnya

A. Renyi, Tentang ukuran informasi dan entropi , Proc. 4th Berkeley Symp. pada Matematika., Stat. dan Prob. (1960), hlm. 547–561.

yang layak dibaca, tidak hanya untuk ide-ide tetapi untuk gaya eksposisi yang patut dicontoh.

Kasus adalah salah satu pilihan yang lebih umum untuk dan kasus khusus ini (juga) sering disebut sebagai entropi Renyi. Di sini kita melihat bahwa $\alpha = 2$ $\alpha$ untuk variabel acak yang didistribusikan dengan kepadatan .

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Perhatikan bahwa adalah fungsi cembung dan oleh karena itu, ketidaksetaraan Jensen kita memiliki $- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$ di mana sisi kanan menunjukkan entropi Shannon. Karenanya entropi Renyi memberikan batas yang lebih rendah untuk entropi Shannon dan, dalam banyak kasus, lebih mudah untuk dihitung.

Contoh alami lain di mana entropi Renyi muncul adalah ketika mempertimbangkan variabel acak diskrit dan salinan independen . Dalam beberapa skenario kita ingin mengetahui probabilitas bahwa , yang dengan perhitungan elementer adalah $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Di sini menunjukkan kepadatan sehubungan dengan penghitungan ukuran pada set nilai $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$ .

Entropi (umum) Renyi juga tampaknya terkait dengan energi bebas suatu sistem dalam kesetimbangan termal, meskipun saya tidak secara pribadi memahami hal itu. Makalah (sangat) baru pada subjek adalah

JC Baez, entropi Renyi dan energi bebas , arXiv [quant-ph] 1101.2098 (Februari 2011).

— kardinal
sumber

Saya memang menggunakan entropi Renyi sebagai pengganti entropi Shannon; senang melihat konfirmasi intuisi saya. Terima kasih atas tanggapan yang mencerahkan.

— charles.y.zheng

- \log x

$-\log x$

Saya melihat. Khususnya, saya memerlukan properti yang distribusi gabungan entropi maksimum yang memenuhi marjinal yang diberikan adalah produk dari marginal (apa yang akan Anda dapatkan dari kemerdekaan.)

— charles.y.zheng