Pertanyaan yang diberi tag «it.information-theory»

Pertanyaan dalam Teori Informasi

13
Teori Informasi digunakan untuk membuktikan pernyataan kombinasi yang rapi?
Apa contoh favorit Anda di mana teori informasi digunakan untuk membuktikan pernyataan kombinatorial yang rapi dengan cara sederhana? Beberapa contoh yang dapat saya pikirkan terkait untuk menurunkan batas untuk kode lokal decodable, misalnya, dalam hal ini kertas: misalkan untuk sekelompok string biner x1,...,xmx1,...,xmx_1,...,x_m panjang yang menyatakan bahwa untuk setiap , …
3
Apa Volume Informasi?
Pertanyaan ini diajukan kepada Jeannette Wing setelah presentasi PCAST tentang ilmu komputer. "Dari perspektif fisika, apakah ada volume maksimum informasi yang dapat kita miliki?" (Pertanyaan tantangan yang bagus untuk komunitas ilmu komputer teoretis karena saya pikir itu menimbulkan pertanyaan "Apa itu informasi?") Melampaui "Apa itu informasi?" kita juga harus mencari …
5
Varian kompleksitas Kolmogorov yang dapat dihitung secara efisien
Kompleksitas awalan Kolmogorov (yaitu adalah ukuran program pembatasan-diri minimal yang menghasilkan x ) memiliki beberapa fitur bagus:K(x)K(x)K(x)xxx Ini sesuai dengan intuisi memberikan string dengan patters atau struktur kompleksitas yang lebih rendah daripada string tanpa. Hal ini memungkinkan kita untuk mendefinisikan kondisional kompleksitas , atau bahkan lebih baik K ( x …
1
Kode yang baik didekodekan oleh sirkuit berukuran linear?
Saya mencari kode koreksi kesalahan dari jenis berikut: kode biner dengan laju konstan, didekodekan dari beberapa fraksi konstan kesalahan, oleh decoder diimplementasikan sebagai sirkuit Boolean ukuran , di mana N adalah panjang pengkodean.O(N)O(N)O(N)NNN Beberapa latar belakang: Spielman, dalam Linear-Time Encodable dan Decodable Error-Correcting Codes , memberikan kode yang dapat didekodekan …
2
Seberapa baik kode Huffman ketika tidak ada huruf probabilitas besar?
Kode Huffman untuk distribusi probabilitas adalah kode awalan dengan panjang codeword rata-rata tertimbang minimum , di mana adalah panjang dari kata sandi ke- . Ini adalah teorema yang terkenal bahwa panjang rata-rata per simbol kode Huffman adalah antara dan , di mana adalah entropi Shannon dari distribusi probabilitas.ppp∑piℓi∑piℓi\sum p_i \ell_iℓiℓi\ell_iiiiH(p)H(p)H(p)H(p)+1H(p)+1H(p)+1H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) …
3
Apakah ada hubungan antara norma berlian dan jarak dari negara terkait?
Dalam teori informasi kuantum, jarak antara dua saluran kuantum sering diukur menggunakan norma intan. Ada juga sejumlah cara untuk mengukur jarak antara dua keadaan kuantum, seperti jarak jejak, kesetiaan, dll. Isomorfisma Jamiołkowski memberikan dualitas antara saluran kuantum dan keadaan kuantum. Ini menarik, setidaknya bagi saya, karena norma intan sangat sulit …
1
Kompleksitas informasi dari algoritma permintaan?
Kompleksitas informasi telah menjadi alat yang sangat berguna dalam kompleksitas komunikasi, terutama digunakan untuk membatasi kompleksitas komunikasi dari masalah yang didistribusikan. Adakah analog kompleksitas informasi untuk kompleksitas kueri? Ada banyak persamaan antara kompleksitas kueri dan kompleksitas komunikasi; seringkali (tetapi tidak selalu!) batas bawah pada satu model diterjemahkan ke batas bawah …
1
Hash filter Bloom: lebih atau lebih besar?
Dalam menerapkan filter Bloom, pendekatan tradisional membutuhkan beberapa fungsi hash independen. Kirsch dan Mitzenmacher menunjukkan bahwa Anda sebenarnya hanya membutuhkan dua, dan dapat menghasilkan sisanya sebagai kombinasi liniernya. Pertanyaan saya adalah: apa, sungguh, perbedaan antara dua fungsi hash dan satu dengan dua kali entropi? Ini berasal dari melihat apa yang …
5
Kegunaan entropi Renyi?
Sebagian besar dari kita akrab dengan - atau setidaknya pernah mendengar tentang - entropi Shannon dari variabel acak, H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , dan semua informasi terkait - ukuran teoretis seperti entropi relatif, informasi timbal balik, dan sebagainya. Ada beberapa ukuran entropi lain yang biasa digunakan dalam ilmu …
4
Apakah eta-equivalence untuk fungsi-fungsi yang kompatibel dengan operasi seq Haskell?
Lemma: Dengan asumsi kesetaraan eta kita memilikinya (\x -> ⊥) = ⊥ :: A -> B. Bukti: ⊥ = (\x -> ⊥ x)dengan kesetaraan eta, dan (\x -> ⊥ x) = (\x -> ⊥)dengan pengurangan di bawah lambda. Laporan Haskell 2010, bagian 6.2 menentukan seqfungsi dengan dua persamaan: seq :: …
5
Mengapa pengkodean Huffman menghilangkan entropi yang tidak dimiliki Lempel-Ziv?
Algoritma DEFLATE populer menggunakan Huffman coding di atas Lempel-Ziv. Secara umum, jika kita memiliki sumber data acak (= 1 bit entropi / bit), tidak ada pengkodean, termasuk Huffman, yang cenderung memampatkannya secara rata-rata. Jika Lempel-Ziv "sempurna" (yang mendekati untuk sebagian besar kelas sumber, karena panjangnya hingga tak terbatas), posting pengkodean …
1
Kompleksitas entropi dan komputasi
Ada peneliti yang menunjukkan bahwa menghapus bit harus mengkonsumsi energi, sekarang adakah penelitian yang dilakukan terhadap konsumsi rata-rata algoritma dengan kompleksitas komputasi ? Saya kira, kompleksitas komputasi F ( n ) berkorelasi dengan konsumsi energi rata-rata, harap saya bisa mendapatkan jawaban di sini.F( n )F(n)F(n)F( n )F(n)F(n)
3
Pada entropi jumlah
Saya mencari terikat pada entropi dari jumlah dari dua variabel acak diskrit independen X dan Y . Tentu, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( * ) Namun, diterapkan dengan jumlah dari n independen Bernoulli variabel acak Z 1 , …
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.