Teori Informasi digunakan untuk membuktikan pernyataan kombinasi yang rapi?

Apa contoh favorit Anda di mana teori informasi digunakan untuk membuktikan pernyataan kombinatorial yang rapi dengan cara sederhana?

Beberapa contoh yang dapat saya pikirkan terkait untuk menurunkan batas untuk kode lokal decodable, misalnya, dalam hal ini kertas: misalkan untuk sekelompok string biner $x_1,...,x_m$ panjang yang menyatakan bahwa untuk setiap , untuk pasangan berbeda { },Maka m setidaknya eksponensial dalam n, di mana eksponen bergantung secara linear pada rasio rata-rata$n$$i$$k_i$$j_1,j_2$

Contoh (terkait) lainnya adalah beberapa ketimpangan isoperimetrik pada kubus Boolean (jangan ragu untuk menguraikan ini dalam jawaban Anda).

Apakah Anda memiliki contoh yang lebih bagus? Lebih disukai, pendek dan mudah dijelaskan.

Moser bukti Lovasz Local Lemma yang konstruktif . Dia pada dasarnya menunjukkan bahwa, di bawah kondisi lemma lokal, algoritma paling sederhana kedua untuk SAT Anda dapat memikirkan karya. (Yang paling sederhana mungkin adalah dengan hanya mencoba tugas acak sampai satu bekerja. Yang paling sederhana adalah mengambil memilih tugas acak, menemukan klausa yang tidak puas, memenuhinya, lalu melihat apa klausa lain yang Anda bongkar, kembalikan, dan ulangi sampai selesai.) Bukti bahwa ini berjalan dalam waktu polinomial mungkin adalah penggunaan teori informasi yang paling elegan (atau kompleksitas Kolmogorov, apa pun yang Anda inginkan dalam hal ini) yang pernah saya lihat.

Contoh favorit saya dari jenis ini adalah bukti berbasis entropi dari Shearer's Lemma. (Saya mempelajari bukti ini dan beberapa yang sangat cantik dari Entropi dan Penghitungan Jaikumar Radhakrishnan .)

Klaim: Misalkan Anda memiliki poin dalam R 3 yang memiliki n x proyeksi berbeda pada bidang y z , n y proyeksi berbeda pada bidang x z dan n z proyeksi berbeda pada bidang x y . Kemudian, n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$ .

Bukti: Misalkan menjadi titik yang dipilih secara acak dari titik n . Misalkan p x , p y , p z menunjukkan proyeksi ke masing-masing bidang y z , x z dan x y . $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Di satu sisi, , H [ p x ] ≤ log n x , H [ p y ] ≤ log n y dan H [ p z ] ≤ log n z , berdasarkan sifat dasar entropi.$H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Di sisi lain, kita memiliki dan juga H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [

Jadi, kita memiliki , atau n 2 ≤ n x n y n z .$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

Bukti entropi Radhakrishnan tentang Teorema Bregman, bahwa jumlah kecocokan sempurna dalam grafik bipartit ( L ∪ R , E ) paling banyak adalah ∏ v ∈ L ( d ( v ) ! ) 1 / d ( v ) . Buktinya menggunakan dua ide yang sangat pintar. Berikut ini sketsa buktinya:$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Pilih cocok sempurna secara seragam. Entropi dari variabel ini adalah H ( M ) = log p .$M$$H(M) = \log p$
• Untuk , misalkan X v menjadi simpul dalam R yang cocok dengan v dalam $v \in L$$X_v$$R$$v$$M$ .
• Variabel memiliki informasi yang sama dengan M , jadi H ( M ) = H ( X ) .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Pintar Idea 1: Dengan secara acak (dan seragam) memilih perintah pada L , Radhakrishnan menyediakan "acak rantai aturan" yang menyatakan H ( X ) = Σ v ∈ L H ( X v | X u : u < v , ≤ ) .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• Dari informasi dalam kondisi ( ) kita dapat menentukan N v = | N ( v ) ∖ X u : u < v | (kira-kira: jumlah pilihan untuk pencocokan v ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Sejak ditentukan dari informasi ini, entropi terkondisi tidak berubah dalam kesetaraan H ( X v | X u : u < v , ≤ ) = H ( X v | X u : u < v , ≤ , N v ) .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Ide Pintar 2: Dengan "melupakan" informasi , kita hanya dapat meningkatkan entropi: H ( X v | X u : u < v , ≤ , N v ) ≤ H ( X v | N v ) .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Crazy Fact: Variabel didistribusikan secara seragam pada set 1 , … , d ( v ) .$N_v$${1,\dots, d(v)}$
• Sekarang, untuk menghitung entropi , kita menjumlahkan seluruh nilai-nilai N v : H ( X v | N v ) = Σ d ( v ) i = 1$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Hasilnya mengikuti dengan menggabungkan semua ketidaksetaraan bersama-sama dan mengambil eksponen.

Generalisasi ketimpangan ini adalah Kahn-Lovasz Teorema: Jumlah matchings sempurna dalam grafik setiap adalah paling Π v ∈ V ( G ) ( d ( v ) ! ) 1 / 2 d ( v ) . Bukti entropi dari hasil ini dibuktikan oleh Cutler dan Radcliffe .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Contoh-contoh yang sangat bagus terdapat dalam dua makalah oleh Pippenger An Information-Theoretic Method dalam Combinatorial Theory. J. Comb. Teori, Ser. A 23 (1): 99-104 (1977) dan Entropy dan enumerasi fungsi boolean. Transaksi IEEE tentang Teori Informasi 45 (6): 2096-2100 (1999). Sebenarnya, beberapa makalah oleh Pippenger berisi bukti lucu tentang fakta kombinatorial dengan cara entropi / informasi timbal balik. Juga, dua buku: Jukna, Extremal Combinatorics With Applications in Computer Science and Aigner, Combinatorial Search memiliki beberapa contoh yang bagus. Saya juga suka dua makalah Madiman et al. Ketidakseimbangan teori-informasi dalam Kombinatorik Aditif, dan Terence Tao, perkiraan jumlah Entropy (Anda dapat menemukannya dengan Google Cendekia). Semoga ini bisa membantu.

Contoh hebat lainnya adalah bukti alternatif Terry Tao dari lemma keteraturan grafik Szemerédi . Dia menggunakan perspektif informasi-teoretis untuk membuktikan versi kuat dari lemma keteraturan, yang ternyata sangat berguna dalam pembuktiannya tentang lemma keteraturan untuk hypergraphs . Sejauh ini, bukti Tao adalah bukti paling ringkas untuk keteraturan keteraturan hypergraph.

Izinkan saya mencoba menjelaskan pada perspektif teori-informasi yang sangat tinggi ini.

Misalkan Anda memiliki graf bipartit , dengan dua set vertex V 1 dan V 2 dan tepi set E subset dari V 1 × V 2 . Kepadatan tepi G adalah ρ = | E | / | V 1 | | V 2 | . Kita mengatakan G adalah ε -regular jika untuk semua U 1 ⊆ V 1 dan U 2 ⊆ V $G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$, kerapatan tepi dari subgraph yang diinduksi oleh dan U 2 adalah ρ ± ϵ | U 1 | | U 2 | / | V 1 | | V 2 $U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$.

Sekarang, pertimbangkan untuk memilih titik dari V 1 dan titik x 2 dari V 2 , secara independen dan seragam secara acak. Jika ϵ kecil dan U 1 , U 2 besar, kita dapat mengartikan ϵ- regularitas G sebagai mengatakan bahwa pengkondisian x 1 berada di U 1 dan x 2 berada di U 2 tidak mempengaruhi banyak kemungkinan bahwa ( x 1 , x $x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$membentuk keunggulan dalam . Dengan kata lain, bahkan setelah kami diberi informasi bahwa x 1 ada di U 1 dan x 2 ada di U 2 , kami belum memperoleh banyak informasi tentang apakah ( x 1 , x 2$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$ keunggulan atau tidak.

The Szemeredi keteraturan lemma (informal) jaminan bahwa untuk setiap grafik, satu dapat menemukan partisi dari dan partisi dari V 2 menjadi himpunan bagian dari kepadatan konstan sehingga untuk sebagian besar pasangan seperti subset U 1 ⊂ V 1 , U 2 ⊂ V 2 , subgraph yang diinduksi pada U 1 × U 2 adalah ϵ- regular. Membuat interpretasi di atas, diberikan dua variabel entropi tinggi x 1 dan x 2 , dan diberi peristiwa E ( $V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$ , adalah mungkin untuk menemukan variabel entropi rendah U 1 ( x 1 ) dan U 2 ( x 2 ) - "entropi rendah" karena himpunan bagian U 1 dan U 2 memiliki kepadatan konstan - seperti bahwa E kira-kira tidak tergantung pada x 1 | U 1 dan x 2 | U $E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$, atau bahwa informasi timbal balik antara variabel sangat kecil. Tao sebenarnya merumuskan versi yang lebih kuat dari lemma keteraturan menggunakan pengaturan ini. Sebagai contoh, dia tidak mengharuskan dan x 2 menjadi variabel independen (meskipun belum ada aplikasi generalisasi ini, sejauh yang saya tahu). $x_1$$x_2$

Pada dasarnya ada seluruh kursus yang ditujukan untuk pertanyaan ini:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Kursus masih berlangsung. Jadi tidak semua catatan tersedia saat menulis ini. Juga, beberapa contoh dari kursus sudah disebutkan.

Misalkan kita memiliki poin dalam ℓ d 2 dan ingin melakukan pengurangan dimensi. Jika kita ingin jarak berpasangan berubah paling banyak 1 ± ϵ , maka kita dapat mengurangi dimensi kita dari d menjadi O ( log n / ϵ 2 ) . Ini adalah Johnson-Lindenstrauss Lemma . Selama satu dekade batas bawah yang paling dikenal untuk dimensi adalah Ω ( log n / ( ϵ 2 log ( 1 / ϵ ) ) $n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$oleh Alon, jadi ada celah ukuran . Baru-baru ini, Jayram dan Woodruff menutup celah ini dengan meningkatkan batas bawah Alon. Bukti mereka nyaris tidak bergantung pada struktur geometris. Apa yang mereka lakukan adalah mereka membuktikan bahwa jika ikatan yang lebih baik dimungkinkan, itu akan melanggar satu kompleksitas komunikasi yang lebih rendah. Dan ikatan ini terbukti menggunakan alat informasi-teoretis.$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$ sama bitstring itu.

$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

Analisis Algoritma Kasus-Rata-Rata Menggunakan Kompleksitas Kolmogorov oleh Jiang, Li, Vitanyi.

'Menganalisis kompleksitas kasus rata-rata algoritma adalah masalah yang sangat praktis tetapi sangat sulit dalam ilmu komputer. Dalam beberapa tahun terakhir kami telah menunjukkan bahwa kompleksitas Kolmogorov adalah alat penting untuk menganalisis kompleksitas kasus rata-rata algoritma. Kami telah mengembangkan metode inkompresibilitas [7]. Dalam makalah ini kami menggunakan beberapa contoh sederhana untuk lebih menunjukkan kekuatan dan kesederhanaan dari metode tersebut. Kami membuktikan batas pada jumlah kasus rata-rata tumpukan (antrian) yang diperlukan untuk menyortir Queueusort atau Stacksort paralel.

Lihat juga misalnya Kompleksitas Kolmogorov dan Masalah Segi Tiga dari Jenis Heilbronn .

Kesetaraan pengambilan sampel dan pencarian oleh Scott Aaronson. Di sini ia menunjukkan kesetaraan pengambilan sampel dan pencarian masalah dalam teori kompleksitas sehubungan dengan validitas Tesis Church-Turing Diperpanjang. Teori informasi standar, teori informasi algoritmik, dan kompleksitas Kolmogorov digunakan secara mendasar.

Dia menekankan:
" Mari kita tekankan bahwa kita tidak menggunakan kompleksitas Kolmogorov hanya sebagai kenyamanan teknis, atau sebagai singkatan untuk argumen penghitungan. Sebaliknya, kompleksitas Kolmogorov tampaknya penting bahkan untuk menentukan masalah pencarian .. "

Yang satu ini sederhana dan juga perkiraan: berapa banyak kombinasi 10 ⁶ hal dari 10 ⁹ , yang memungkinkan duplikat? Formula yang benar adalah

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Tapi bayangkan memberikan instruksi untuk berjalan di sepanjang deretan miliar ember, menjatuhkan satu juta kelereng ke dalam ember di sepanjang jalan. Akan ada ~ 10 ⁹ instruksi "step to the bucket berikutnya" dan 10 ⁶ instruksi "drop a marble". Total informasi adalah

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ ~ 11409200.432742426

yang merupakan cara yang lucu, tapi cukup bagus untuk memperkirakan (log of) hitungan. Saya suka karena itu berfungsi jika saya lupa bagaimana melakukan kombinatorik. Ini sama dengan mengatakan itu

(a + b)! / Sebuah! b! ~ = (a + b) ^{(a + b)} / ^a b ^b

yang seperti menggunakan perkiraan Stirling, membatalkan, dan melewatkan sesuatu.

Aplikasi terbaru yang sangat bagus untuk memberikan batas atas untuk permutasi dimensi tinggi oleh Linial dan Luria ada di sini: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf