Pertanyaan yang diberi tag «information-theory»

Dapatkah informasi timbal balik melalui entropi bersama: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"? Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya mencoba hanya untuk memahami beberapa konsep tentang itu.

11 information-theory  mutual-information 

Saya memiliki keraguan yang sangat mendasar. Maaf jika ini mengganggu sedikit. Saya tahu bahwa nilai Mutual Information harus lebih besar dari 0, tetapi haruskah itu kurang dari 1? Apakah dibatasi oleh nilai tertinggi? Terima kasih, Amit.

11 information-theory  mutual-information 

Bentuk paling sederhana dari teori informasi CLT adalah sebagai berikut: Biarkan menjadi iid dengan mean dan varians 1 . Biarkan f_n menjadi kepadatan jumlah normal \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}} dan \ phi menjadi kepadatan Gaussian standar. Maka teori informasi CLT menyatakan …

11 mathematical-statistics  information-theory  central-limit-theorem 

Saya telah menulis sebuah program untuk mensimulasikan kartu shuffle overhand . Setiap kartu diberi nomor, dengan setelan naik dari CLUBS, DIAMONDS, HEARTS, SPADESdan peringkat dari Dua hingga Sepuluh kemudian Jack, Ratu, Raja dan Ace. Jadi Dua Klub memiliki Jumlah 1, Tiga Klub a 2. .... Ace of Clubs adalah 13 …

11 correlation  pearson-r  information-theory 

Apa metrik yang baik untuk menilai kualitas analisis komponen utama (PCA)? Saya melakukan algoritma ini pada dataset. Tujuan saya adalah mengurangi jumlah fitur (informasinya sangat berlebihan). Saya tahu persentase varians yang disimpan adalah indikator yang baik tentang seberapa banyak informasi yang kami simpan, apakah ada metrik informasi lain yang dapat …

10 machine-learning  pca  data-mining  information-theory 

Seperti judulnya, apakah pengurangan dimensi selalu kehilangan beberapa informasi? Pertimbangkan misalnya PCA. Jika data yang saya miliki sangat jarang, saya akan menganggap "pengkodean yang lebih baik" dapat ditemukan (apakah ini terkait dengan peringkat data?), Dan tidak ada yang akan hilang.

10 pca  information-theory  information 

Saya sedikit bingung. Bisakah seseorang menjelaskan kepada saya bagaimana menghitung informasi timbal balik antara dua istilah berdasarkan matriks dokumen-jangka dengan kemunculan istilah biner sebagai bobot? Document1Document2D o c ument3′Why′111′How′101′Wh en′111′Wh e r e′100′Why′′HHaiw′′When′′Where′DHaickamument11111DHaickamument21010DHaickamument31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 …

10 python  information-theory  mutual-information  numpy  pandas 

Saya mencoba menerapkan ide informasi timbal balik ke pemilihan fitur, seperti yang dijelaskan dalam catatan kuliah ini (di halaman 5). Platform saya adalah Matlab. Satu masalah yang saya temukan ketika menghitung informasi timbal balik dari data empiris adalah bahwa angka selalu bias ke atas. Saya menemukan sekitar 3 ~ 4 …

10 matlab  feature-selection  information-theory  mutual-information 

Dalam penelitian saya, saya telah mengalami masalah umum berikut: Saya memiliki dua distribusi dan di domain yang sama, dan sejumlah besar sampel (tetapi terbatas) dari distribusi tersebut. Sampel didistribusikan secara independen dan identik dari salah satu dari dua distribusi ini (meskipun distribusi mungkin terkait: misalnya, mungkin campuran dan beberapa distribusi …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Dalam makalah yang disebut Deep Learning dan Information Bottleneck Principle , penulis menyatakan di bagian II A) berikut ini: Neuron tunggal mengklasifikasikan hanya input yang dapat dipisahkan secara linear, karena mereka hanya dapat mengimplementasikan hiperplanes dalam ruang inputnya . Hyperplanes dapat secara optimal mengklasifikasikan data ketika input secara independen tergantung.u=wh+bu=wh+bu …

10 bayesian  neural-networks  information-theory 

Atau kondisi apa yang menjamin hal itu? Secara umum (dan bukan hanya model normal dan binomial) saya kira alasan utama yang mematahkan klaim ini adalah bahwa ada ketidakkonsistenan antara model pengambilan sampel dan model sebelumnya, tetapi apa lagi? Saya mulai dengan topik ini, jadi saya sangat menghargai contoh-contoh mudah

10 bayesian  variance  information-theory 

Saya ingin mengukur hubungan antara dua variabel, A dan B, menggunakan informasi timbal balik. Cara untuk menghitungnya adalah dengan membuang pengamatan (lihat contoh kode Python di bawah). Namun, faktor apa yang menentukan jumlah sampah yang masuk akal? Saya perlu perhitungan yang cepat jadi saya tidak bisa hanya menggunakan banyak sampah …

10 information-theory  mutual-information  binning 

Pertanyaan saya menyangkut hubungan antara hipotesis pengkodean efisien yang diuraikan di halaman Wikipedia tentang pengkodean efisien dan algoritma pembelajaran jaringan saraf. Apa hubungan antara hipotesis pengkodean yang efisien dan jaringan saraf? Apakah ada model jaringan saraf yang secara eksplisit terinspirasi oleh hipotesis pengkodean yang efisien? Atau akan lebih adil untuk …

9 neural-networks  information-theory 

Hari ini saya membaca buku "Teori Informasi: Pengantar tutorial" oleh James Stone dan berpikir sejenak tentang sejauh mana penggunaan teori informasi dalam ilmu data terapan (jika Anda tidak nyaman dengan istilah yang masih agak kabur ini, berpikir analisis data , yang ilmu data IMHO adalah versi dimuliakan). Saya menyadari penggunaan …

9 information-theory 

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]? Informasi timbal balik yang bijak adalah: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. …

9 entropy  information-theory  mutual-information