Pertanyaan yang diberi tag «entropy»

Entropi Shannon adalah negatif dari jumlah probabilitas setiap hasil dikalikan dengan logaritma probabilitas untuk setiap hasil. Apa tujuan yang dilayani oleh logaritma dalam persamaan ini? Jawaban intuitif atau visual (sebagai lawan dari jawaban yang sangat matematis) akan diberikan poin bonus!

72 entropy  intuition  sequence-analysis 

Saya ingin mengukur entropi / kepadatan informasi / pola-kemiripan dari matriks biner dua dimensi. Biarkan saya menunjukkan beberapa gambar untuk klarifikasi: Tampilan ini harus memiliki entropi yang agak tinggi: SEBUAH) Ini harus memiliki entropi sedang: B) Foto-foto ini, akhirnya, semua harus memiliki entropi mendekati nol: C) D) E) Apakah ada …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Saya telah melihat beberapa pertanyaan di sini tentang apa artinya dalam istilah awam, tetapi ini terlalu awam untuk tujuan saya di sini. Saya mencoba memahami secara matematis apa arti skor AIC. Tetapi pada saat yang sama, saya tidak ingin bukti yang kuat yang akan membuat saya tidak melihat poin yang …

34 self-study  model-selection  aic  entropy  information-theory 

Saya membaca tentang entropi dan mengalami kesulitan mengkonseptualisasikan apa artinya dalam kasus berkelanjutan. Halaman wiki menyatakan sebagai berikut: Distribusi probabilitas peristiwa, ditambah dengan jumlah informasi setiap peristiwa, membentuk variabel acak yang nilainya diharapkan adalah jumlah rata-rata informasi, atau entropi, yang dihasilkan oleh distribusi ini. Jadi jika saya menghitung entropi yang …

32 entropy 

Saya tahu bahwa entropi adalah ukuran keacakan dari suatu proses / variabel dan dapat didefinisikan sebagai berikut. untuk variabel acak set : - . Dalam buku tentang Entropi dan Teori Informasi oleh MacKay, ia memberikan pernyataan ini dalam Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) Entropi dimaksimalkan jika p …

32 uniform  entropy  maximum-entropy 

Dalam makalah ini , peneliti berbakat Cosma Shalizi berpendapat bahwa untuk sepenuhnya menerima pandangan Bayesian yang subjektif, kita juga harus menerima hasil yang tidak fisik bahwa panah waktu (diberikan oleh aliran entropi) harus benar-benar mundur . Ini terutama merupakan upaya untuk berdebat dengan entropi maksimum / pandangan subjektif sepenuhnya yang …

31 bayesian  entropy  maximum-entropy  philosophical 

Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya? H( P, Q ) = -∑xP( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL ( P| Q)=∑xP( x ) logP( x )Q ( x )KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} …

25 entropy  kullback-leibler  cross-entropy 

Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi. Untuk menguraikan pemahaman saya dari latar belakang teori informasi: Jika kita memiliki variabel acak …

23 inference  entropy  information-theory  kullback-leibler  compression 

Saya telah menggunakan prinsip entropi maksimum untuk membenarkan penggunaan beberapa distribusi di berbagai pengaturan; akan tetapi, saya belum dapat merumuskan interpretasi statistik, sebagai lawan dari teori informasi, dari entropi maksimum. Dengan kata lain, apa yang memaksimumkan entropi menyiratkan tentang sifat statistik distribusi? Adakah yang bertemu atau mungkin menemukan diri Anda …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Saya sama sekali tidak seorang ahli statistik (saya pernah mengikuti kursus dalam statistik matematika tetapi tidak lebih dari itu), dan baru-baru ini, ketika mempelajari teori informasi dan mekanika statistik, saya bertemu dengan hal yang disebut "ukuran ketidakpastian" / "entropi" ini. Saya membaca turunan Khinchin sebagai ukuran ketidakpastian dan masuk akal …

21 entropy  inference 

Apa cara paling benar informasi / fisika-teoretis untuk menghitung entropi suatu gambar? Saya tidak peduli dengan efisiensi komputasi saat ini - saya ingin secara teoritis seakurat mungkin. Mari kita mulai dengan gambar skala abu-abu. Salah satu pendekatan intuitif adalah mempertimbangkan gambar sebagai sekumpulan piksel dan menghitung mana adalah jumlah tingkat …

21 spatial  entropy  image-processing 

Dalam definisi set bersama (dalam "Elemen Teori Informasi", bab 7.6, hal. 195), kita menggunakan np(xn)=∏ n i = 1 p(xi)- 1ncatatanp ( xn)-1ncatatan⁡hal(xn)-\frac{1}{n} \log{p(x^n)} sebagai entropi empiris dari sebuah -berikutnya dengan . Saya tidak pernah menemukan terminologi ini sebelumnya. Itu tidak didefinisikan secara eksplisit di mana saja sesuai dengan indeks …

19 information-theory  entropy 

Saya mencari buku atau sumber daya daring yang menjelaskan berbagai jenis entropi seperti Contoh Entropi dan Entropi Shannon serta kelebihan dan kekurangannya. Bisakah seseorang mengarahkan saya ke arah yang benar?

18 references  entropy 

Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan sebagai: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) yaitu itu adalah nilai rata-rata dari pmi information mutual pointwise .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Misalkan saya tahu …

18 entropy  mutual-information  information-theory 

Saya ingin tahu apakah hutan acak Breiman (hutan acak dalam paket R randomForest) digunakan sebagai kriteria pemisahan (kriteria untuk pemilihan atribut) informasi atau indeks Gini? Saya mencoba untuk mengetahuinya di http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm dan dalam dokumentasi untuk paket randomForest di R. Tetapi satu-satunya hal yang saya temukan adalah bahwa indeks Gini dapat …

15 r  random-forest  entropy  gini