Pertanyaan yang diberi tag «entropy»

Gagasan ini muncul pada saya sebagai seorang anak yang belajar memprogram dan pada awalnya menghadapi PRNG. Saya masih tidak tahu seberapa realistis itu, tapi sekarang ada pertukaran tumpukan. Berikut skema anak berusia 14 tahun untuk algoritma kompresi yang luar biasa: Ambil PRNG dan seed dengan seed suntuk mendapatkan urutan panjang …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Menurut Wikipedia : Entropi Shannon mengukur informasi yang terkandung dalam pesan sebagai lawan bagian pesan yang ditentukan (atau dapat diprediksi). Contoh yang terakhir termasuk redundansi dalam struktur bahasa atau sifat statistik yang berkaitan dengan frekuensi kemunculan pasangan huruf atau kata, kembar tiga dll. Jadi entropi adalah ukuran dari jumlah informasi …

35 information-theory  data-compression  entropy 

Katakanlah saya perlu mensimulasikan distribusi diskrit berikut: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Cara yang paling jelas adalah menggambar bit acak NNN dan memeriksa apakah semuanya sama dengan 000 (atau …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Alan Turing mengusulkan model untuk mesin (Turing Machine, TM) yang menghitung (angka, fungsi, dll.) Dan membuktikan Teorema Henti . TM adalah konsep abstrak dari mesin (atau mesin jika Anda suka). Teorema Penghentian adalah hasil ketidakmungkinan. Mesin Carnot (CE) adalah konsep abstrak dari mesin panas dan Carnot membuktikan Teorema Carnot , …

31 turing-machines  halting-problem  entropy 

Beberapa orang berkata sebagai berikut: Siapa pun yang berusaha menghasilkan angka acak dengan cara deterministik, tentu saja, hidup dalam keadaan berdosa. Itu selalu berarti bahwa Anda tidak dapat menghasilkan angka acak benar hanya dengan komputer. Dan dia mengatakan bahwa ketika komputer adalah ukuran yang setara dengan mikroprosesor Intel 8080 tunggal …

25 randomness  data-compression  entropy  random-number-generator 

Di Linux, file /dev/randomdan/dev/urandom file adalah sumber pseudo-random byte yang memblokir dan non-blocking. Mereka dapat dibaca sebagai file normal: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 eecc e395 5971 ab7f 0000030 …

19 operating-systems  cryptography  randomness  security  entropy 

Anda memiliki larik elemen yang berbeda. Anda memiliki akses ke pembanding (fungsi kotak hitam mengambil dua elemen dan dan mengembalikan true iff ) dan sumber bit yang benar-benar acak (fungsi kotak hitam tidak mengambil argumen dan mengembalikan bit acak yang seragam secara independen). Pertimbangkan dua tugas berikut:nnnaaabbba&lt;ba&lt;ba < b Array …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Diberikan serangkaian nilai , Shannon Entropy di log base mencapai . Dari apa yang saya mengerti, dalam basis Shannon Entropy dibulatkan adalah jumlah minimum bit dalam biner untuk mewakili satu nilai.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Diambil dari pengantar di halaman wikipedia ini: https://en.wikipedia.org/wiki/Entropy_%28informasi_theory%29 Jadi, bagaimana tiga nilai diwakili oleh satu bit? bisa , bisa …

14 information-theory  mathematical-foundations  entropy  binary 

Di tempat kerja saya ditugaskan untuk menyimpulkan beberapa jenis informasi tentang bahasa yang dinamis. Saya menulis ulang urutan pernyataan menjadi letekspresi bersarang , seperti: return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Dalam mencoba memahami hubungan antara Huffman Coding, Arithmetic Coding, dan Range Coding, saya mulai berpikir tentang kekurangan pengkodean Huffman terkait dengan masalah fraksional pengemasan bit . Artinya, misalkan Anda memiliki 240 nilai yang mungkin untuk simbol, dan diperlukan untuk menyandikan ini menjadi bit, Anda akan terjebak dengan 8 bit per …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

Saya memiliki masalah optimisasi kendala dalam entropi (Shannon) matriks . Matriks A dapat ditulis sebagai jumlah dari matriks peringkat 1 dari formulir [ v i( S u m( e n t r ( e i g ( A ) ) ) ))(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))}SEBUAHAA mana v[ vsayavTsaya][viviT][v_i\,v_i^T] adalah vektor dinormalisasi yang diberikan. …

10 optimization  entropy 

Saya mencoba mengukur sekarang banyak informasi yang tidak berlebihan (aktual) yang terkandung dalam file saya. Ada yang menyebut ini jumlah entropi. Tentu saja ada standar p (x) log {p (x)}, tapi saya pikir Shannon hanya mempertimbangkannya dari sudut pandang transmisi melalui saluran. Karena itu rumus membutuhkan ukuran blok (misalnya dalam …

9 entropy 

Saya membaca sebuah makalah yang merujuk pada batas ketika n pergi ke tak terhingga dari entri Rényi. Ini mendefinisikannya sebagai . Kemudian dikatakan bahwa batas sebagai adalah . Saya melihat artikel lain yang menggunakan maksimum alih-alih . Saya pikir ini bekerja dengan cukup mudah jika semua sama dengan (distribusi seragam). …

8 information-theory  entropy