Pertanyaan yang diberi tag «information-theory»

Apakah semua string kode Morse dapat diuraikan secara unik? Tanpa ruang, ......-...-..---.-----.-..-..-.. bisa jadi Hello Worldtetapi mungkin huruf pertama adalah 5- pada kenyataannya tampaknya sangat tidak mungkin urutan titik dan garis sewenang-wenang harus memiliki terjemahan yang unik. Seseorang mungkin menggunakan ketidaksetaraan Kraft tetapi itu hanya berlaku untuk kode awalan . …

54 information-theory  coding-theory 

Gagasan ini muncul pada saya sebagai seorang anak yang belajar memprogram dan pada awalnya menghadapi PRNG. Saya masih tidak tahu seberapa realistis itu, tapi sekarang ada pertukaran tumpukan. Berikut skema anak berusia 14 tahun untuk algoritma kompresi yang luar biasa: Ambil PRNG dan seed dengan seed suntuk mendapatkan urutan panjang …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Menurut Wikipedia : Entropi Shannon mengukur informasi yang terkandung dalam pesan sebagai lawan bagian pesan yang ditentukan (atau dapat diprediksi). Contoh yang terakhir termasuk redundansi dalam struktur bahasa atau sifat statistik yang berkaitan dengan frekuensi kemunculan pasangan huruf atau kata, kembar tiga dll. Jadi entropi adalah ukuran dari jumlah informasi …

35 information-theory  data-compression  entropy 

Katakanlah saya perlu mensimulasikan distribusi diskrit berikut: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Cara yang paling jelas adalah menggambar bit acak NNN dan memeriksa apakah semuanya sama dengan 000 (atau …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Saya memiliki file yang berisi nomor biner yang dipesan dari hingga :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z tidak mengkompres file ini dengan sangat efisien (untuk n = 20, 22 MB dikompresi hingga 300 kB). Apakah ada algoritma yang dapat mengenali struktur data yang sangat sederhana …

27 information-theory  data-compression 

Saya membaca buku: " Kode: Bahasa Tersembunyi dari Perangkat Keras dan Perangkat Lunak Komputer " dan dalam Bab 2 penulis mengatakan: Kode Morse dikatakan kode biner (secara harfiah berarti dua oleh dua) karena komponen kode hanya terdiri dari dua hal - titik dan garis putus-putus. Wikipedia di sisi lain mengatakan: …

27 information-theory  coding-theory  encoding-scheme 

Saya baru-baru ini menemukan artikel menarik berikut yang mengklaim secara efisien mengompresi set data acak dengan selalu lebih dari 50%, terlepas dari jenis dan format data. Pada dasarnya ia menggunakan bilangan prima untuk secara unik membangun representasi potongan data 4-byte yang mudah untuk didekompresi mengingat bahwa setiap angka adalah produk …

22 information-theory  data-compression  primes 

Membandingkan pasangan berurutan (x, y) dengan pasangan yang tidak berurutan {x, y} (set), maka informasi secara teoritis, perbedaannya hanya satu bit, karena apakah x lebih dulu atau y membutuhkan tepat satu bit untuk diwakili. Jadi, jika kita diberikan satu set {x, y} di mana x, y adalah dua bilangan bulat …

20 information-theory  data-compression 

Untuk mengenkripsi pesan m1m1m_1 dengan kunci satu kali kkk Anda lakukan En c ( m1, k ) = m1⊕ kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k . Jika Anda menggunakan sama kkkuntuk mengenkripsi pesan yang berbeda m2m2m_2 Anda mendapatkan En c ( m2, k ) = m2⊕ kEnc(m2,k)=m2⊕kEnc(m_2,k) = m_2 \oplus k …

20 cryptography  information-theory  encryption 

Anda memiliki larik elemen yang berbeda. Anda memiliki akses ke pembanding (fungsi kotak hitam mengambil dua elemen dan dan mengembalikan true iff ) dan sumber bit yang benar-benar acak (fungsi kotak hitam tidak mengambil argumen dan mengembalikan bit acak yang seragam secara independen). Pertimbangkan dua tugas berikut:nnnaaabbba&lt;ba&lt;ba < b Array …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Saya sedang membaca tentang algoritma kompresi data dan batas teoritis untuk kompresi data. Baru-baru ini saya menemukan metode kompresi yang disebut "Combinatorial Entropy Encoding", ide utama dari metode ini adalah untuk menyandikan file sebagai karakter yang disajikan dalam file, frekuensi mereka dan indeks permutasi karakter ini diwakili oleh file. Dokumen-dokumen …

17 information-theory  data-compression 

Menurut Wikipedia : Informal, dari sudut pandang teori informasi algoritma, isi informasi dari string setara dengan panjang mungkin representasi mandiri terpendek dari string. Apa analog definisi ketat informal "informasi yang berguna"? Mengapa "informasi yang berguna" tidak diambil sebagai konsep yang lebih alami atau yang lebih mendasar; naif tampaknya murni string …

16 information-theory  terminology  kolmogorov-complexity 

Menentukan sewenang-wenang grid 9x9 memerlukan memberikan posisi dan nilai setiap persegi. Sebuah encoding naif untuk ini mungkin memberikan 81 (x, y, nilai) kembar tiga, membutuhkan 4 bit untuk setiap x, y, dan nilai (1-9 = 9 nilai = 4 bit) untuk total 81x4x3 = 972 bit. Dengan penomoran masing-masing persegi, …

16 combinatorics  modelling  information-theory  sudoku 

Diberikan serangkaian nilai , Shannon Entropy di log base mencapai . Dari apa yang saya mengerti, dalam basis Shannon Entropy dibulatkan adalah jumlah minimum bit dalam biner untuk mewakili satu nilai.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Diambil dari pengantar di halaman wikipedia ini: https://en.wikipedia.org/wiki/Entropy_%28informasi_theory%29 Jadi, bagaimana tiga nilai diwakili oleh satu bit? bisa , bisa …

14 information-theory  mathematical-foundations  entropy  binary 

Saat ini saya sedang menulis beberapa kode untuk menghasilkan data biner. Saya secara khusus perlu menghasilkan angka 64-bit dengan jumlah bit yang ditentukan; lebih tepatnya, prosedur harus mengambil beberapa 0&lt;n&lt;640&lt;n&lt;640 < n < 64 dan mengembalikan nomor pseudo-acak 64-bit dengan tepat nnn bit diatur ke 111 , dan sisanya diatur …

12 algorithms  information-theory  coding-theory  pseudo-random-generators