Informasi bocor dengan lancar dari waktu ke waktu

Katakanlah saya memiliki variabel acak satu bit , dan biarkan menjadi bilangan alami. Saya ingin urutan variabel acak st $X \in \{0,1\}$ $n$ $0 = X_0, X_1, \ldots, X_n = X$

H (X | {X_{0}, \dots, X_{k}}) = 1 - \frac{k}{n}

$H\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n}$

Artinya, setiap tambahan menyediakan dari informasi dari , sampai semuanya terungkap oleh . Apakah ada konstruksi yang bagus untuk urutan ini? $X_k$ $1/n$ $X$ $X_n = X$

it.information-theory shannon-entropy

— Geoffrey Irving
sumber

Jawaban:

Via Michael Kass: misalkan menjadi proses Wiener mulai dari , dan definisikan $Y(t)$ $Y(0) = X$

f (t) = H (X | Y (t))

$f(t) = H(X~|~Y(t))$

Kemudian , , dan lancar meningkat di antaranya. Jadi, untuk setiap kita dapat menemukan st memiliki entropi kondisional yang diinginkan ( akan menjadi fungsi penurunan ). $f(0) = 0$ $f(\infty)=1$ $f(t)$ $k$ $0 \le t \le \infty$ $X_k = Y(t)$ $t$ $k$

— Geoffrey Irving
sumber

Tidak bisakah Anda mengambil mana adalah XOR dan adalah Bernoulli independen dengan rata-rata ?

X_{k} = X \oplus Y_{k}

$X_k = X \oplus Y_k$

\oplus

$\oplus$

Y_{k}

$Y_k$

p_{k}

$p_k$

— Sasho Nikolov

Ya, itu metode yang diakui lebih sederhana. :)

— Geoffrey Irving

Masalah dengan konstruksi sebelumnya adalah bahwa tidak ada jaminan bahwa terungkap dengan jelas setelah bit ditransmisikan (yang tampaknya menjadi persyaratan). Ini adalah konstruksi serupa yang berfungsi jika ganjil. Menghasilkan bit acak dengan probabilitas 1/2, . Biarkan dan menjadi nomor 1 dan 0 di . Sekarang, kirimkan S jika dan atau dan ; jika tidak mengirimkan salah satu pelengkap dari . $X$ $n$ $n$ $n$ $S=Y_0, Y_1,...$ $N(0)$ $N(1)$ $S$ $X=1$ $N(1)>N(0)$ $X=0$ $N(1)<N(0)$ $S$

— siravan
sumber

Tapi saya bingung. Dalam proses ini, katakan bahwa . Jika dua bit pertama yang dikirim adalah 01 atau 10, maka probabilitas X menjadi 1 dikondisikan untuk melihat bit-bit ini adalah 1/2. Hal yang sama berlaku jika kita melihat 11 atau 00. Maka entropi dari distribusi bersyarat tidak 1/3 seperti yang disyaratkan.

n = 3

$n=3$

— Suresh Venkat

Jika adalah 1, dua bit pertama yang ditransmisikan tidak boleh 00. Kemudian bit terakhir menambahkan 1/2 bit informasi dengan probabilitas 2/3 (dua bit pertama 01 atau 10) dan 0 bit informasi dengan probabilitas 1/3 (11, karena tidak peduli apa hasilnya 1).

X

$X$

— siravan

Koreksi. Analisis saya sebelumnya tidak benar. Saya pikir ada dua cara untuk melihatnya. Algoritma simetris pada bit dan mentransmisikan satu bit total informasi, sehingga setiap bit harus berkontribusi 1 / n bit informasi. Tetapi jika kita ingin menghitung probabilitas bersyarat, segalanya menjadi berantakan. Saya yakin situasinya adalah varian dari masalah Monty Hall ( en.wikipedia.org/wiki/Monty_Hall_problem ).

— siravan

Metode acak berjalan tidak tanpa syarat mengungkapkan X pada akhirnya, karena nilai akhir pengirimannya akan . Namun, itu membutuhkan pengiriman bilangan real daripada bit.

Y (0) = X

$Y(0) = X$

— Geoffrey Irving