Informasi Reksa sebagai probabilitas

Dapatkah informasi timbal balik melalui entropi bersama:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"?

Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya mencoba hanya untuk memahami beberapa konsep tentang itu.

information-theory mutual-information

— luca maggi
sumber

Selamat datang di CV, luca maggi! Pertanyaan pertama yang bagus!

— Alexis

Jawaban:

Ukuran yang Anda gambarkan disebut Rasio Kualitas Informasi [IQR] (Wijaya, Sarno dan Zulaika, 2017). IQR adalah informasi timbal balik $I(X,Y)$ dibagi dengan "ketidakpastian total" (entropi bersama) $H(X,Y)$ (sumber gambar: Wijaya, Sarno dan Zulaika, 2017).

Seperti yang dijelaskan oleh Wijaya, Sarno dan Zulaika (2017),

kisaran IQR adalah $[0,1]$ . Nilai terbesar (IQR = 1) dapat dicapai jika DWT dapat merekonstruksi sinyal dengan sempurna tanpa kehilangan informasi. Jika tidak, nilai terendah (IQR = 0) berarti MWT tidak kompatibel dengan sinyal asli. Dengan kata lain, sinyal yang direkonstruksi dengan MWT tertentu tidak dapat menyimpan informasi penting dan sama sekali berbeda dengan karakteristik sinyal asli.

Anda dapat menafsirkannya sebagai probabilitas bahwa sinyal akan direkonstruksi dengan sempurna tanpa kehilangan informasi . Perhatikan bahwa interpretasi semacam itu lebih dekat dengan interpretasi subjektivis tentang probabilitas , kemudian ke interpretasi tradisional, sering.

Ini adalah probabilitas untuk peristiwa biner (merekonstruksi informasi vs tidak), di mana IQR = 1 berarti bahwa kami percaya informasi yang direkonstruksi menjadi dapat dipercaya, dan IQR = 0 berarti sebaliknya. Ini berbagi semua properti untuk probabilitas acara biner. Selain itu, entropi berbagi sejumlah properti lain dengan probabilitas (misalnya definisi entropi bersyarat, independensi, dll). Jadi sepertinya probabilitas dan dukun seperti itu.

Wijaya, DR, Sarno, R., & Zulaika, E. (2017). Informasi Rasio Kualitas sebagai metrik baru untuk pemilihan wavelet ibu. Chemometrics dan Sistem Laboratorium Cerdas, 160, 59-71.

— Tim
sumber

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Pertanyaan saya diarahkan pada bagian dari jawaban Anda dan bukan pertanyaan yang berdiri sendiri. Apakah Anda menyarankan agar saya membuka pertanyaan dan tautan baru dan mengarahkannya ke jawaban Anda?

— Hans

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

@Hans saya menyatakan secara eksplisit bahwa ini konsisten dengan aksioma, tetapi sulit untuk mengatakan probabilitas tentang apa sebenarnya ini. Interpretasi yang saya sarankan mungkin adalah merekonstruksi sinyal. Ini bukan distribusi probabilitas X atau Y. Saya kira Anda bisa lebih jauh menafsirkan dan memahaminya. Pertanyaannya adalah apakah ini dapat diartikan sebagai probabilitas dan jawaban adalah yang secara formal ya.

— Tim

$(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— Hans
sumber

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Itu juga terjadi jika Anda menggunakan jaringan saraf rumit dengan fungsi aktivasi sigmoid pada akhirnya, dapatkah Anda membuktikan bahwa output adalah probabilitas dalam istilah metrik-teoritis ..? Namun, kita sering memilih untuk menafsirkan ini sebagai probabilitas.

— Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Maaf, tapi saya tidak pernah menemukan diskusi semacam ini & mengukur teori menarik, jadi saya akan menarik diri dari diskusi lebih lanjut. Saya juga tidak mengerti maksud Anda di sini, terutama karena paragraf terakhir Anda tampaknya mengatakan hal yang persis sama dengan yang saya katakan dari pengemis.

— Tim