Entropi Diferensial

Entropi diferensial dari Gaussian RV adalah . Ini tergantung pada, yang merupakan standar deviasi. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif karena kompleksitas Kolmogorov dari normalisasi konstan harus sangat kecil dibandingkan dengan pengurangan entropi. Seseorang dapat dengan mudah membuat encoder decoder yang membagi / mengalikan dengan konstanta normalisasi untuk memulihkan setiap dataset yang dihasilkan oleh variabel acak ini.

Mungkin pemahaman saya tidak aktif. Bisakah Anda menunjukkan kekurangan saya?

information-theory entropy randomness

— Cagdas Ozgenc
sumber

Saya akan coba ini, meskipun itu sedikit di atas kepala saya, jadi obati dengan taburan garam ...

Anda tidak salah. Saya pikir di mana eksperimen pikiran Anda jatuh adalah bahwa entropi diferensial bukanlah kasus entropi yang membatasi. Saya menduga bahwa karena ini, paralel antara itu dan kompleksitas Kolmogorov hilang.

Katakanlah kita memiliki diskrit variabel acak . Kita dapat menghitung entropi Shannon sebagai berikut dengan menjumlahkan semua nilai yang mungkin nya , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Sejauh ini sangat membosankan. Sekarang katakanlah adalah versi quantised dari variabel acak kontinu - katakanlah, kita memiliki fungsi kerapatan yang menghasilkan sampel dari himpunan bilangan real, dan kami mengubahnya menjadi histogram. Kami akan memiliki histogram yang cukup baik sehingga fungsi kerapatan pada dasarnya linear. Dalam hal ini kita akan memiliki sesuatu yang entropi seperti ini, $X$ $p()$ manaadalah titik tengah masing-masing. Kami memiliki produk di dalam logaritma itu - mari kita pisahkan itu dan gunakan properti distribusi probabilitas penjumlahan ke 1 untuk memindahkannya ke luar penjumlahan, memberi kita

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$ adalah lebar tempat sampah histogram kami dan

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Jika kita mengambil batas, biarkan $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Menepuk
sumber

Terima kasih. Itu sangat menarik. Saya tidak tahu ada semacam trik dalam teori itu.

— Cagdas Ozgenc

Notasi

sebenarnya tidak terlalu bermakna, tetapi kami dapat mengubah beberapa eksposisi Anda menjadi sesuatu yang sedikit lebih tepat. Memang jika kepadatan

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - Saya tidak tahu apakah saya akan menyebutnya gimmick. Itu hanya mengukur hal yang berbeda. Dan sebagaimana ditunjukkan kardinal, ia memiliki beberapa kegunaan. Adapun apakah itu akan rusak ketika diterapkan pada distribusi binominal, yah, tergantung bagaimana Anda akan menerapkannya :). Mungkin layak memulai topik baru jika Anda tidak yakin.

— Pat

Saya pikir entropi jelas berbeda dari kompleksitas Kolmogorov ketika seseorang menganggap generator bilangan pseudo-acak.

— James Bowery