Pertanyaan yang diberi tag «information-theory»

Tanpa mengutip sumber, Wikipedia mendefinisikan lintas-entropi dari distribusi diskrit dan Q menjadiPPPQQQ H×( P; Q )= - ∑xp ( x )catatanq( x ) .H×(P;Q)=-∑xhal(x)catatan⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Siapa yang pertama kali mulai menggunakan jumlah ini? Dan siapa yang menemukan istilah ini? Saya melihat: JE Shore …

15 information-theory  entropy 

Pertanyaan ini memberikan definisi kuantitatif tentang entropi silang, dalam hal rumusnya. Saya mencari definisi yang lebih jelas, kata wikipedia: Dalam teori informasi, entropi silang antara dua distribusi probabilitas mengukur jumlah rata-rata bit yang diperlukan untuk mengidentifikasi suatu peristiwa dari serangkaian kemungkinan, jika skema pengkodean digunakan berdasarkan distribusi probabilitas yang diberikan …

15 entropy  information-theory 

Saya baru-baru ini membaca artikel ini pada entropi distribusi probabilitas diskrit. Ini menjelaskan cara berpikir yang baik tentang entropi sebagai bit angka yang diharapkan (setidaknya ketika menggunakan log2log2\log_2 dalam definisi entropi Anda) yang diperlukan untuk menyandikan pesan ketika penyandian Anda optimal, mengingat kemungkinan distribusi kata-kata yang Anda gunakan. Namun, ketika …

15 entropy  information-theory 

Saya berpikir bahwa konsep himpunan tipikal cukup intuitif: urutan panjang akan menjadi milik himpunan jika probabilitas urutan yang keluar tinggi. Jadi, urutan apa pun yang mungkin ada di . (Saya menghindari definisi formal terkait dengan entropi karena saya mencoba memahaminya secara kualitatif.)A ( n ) ϵ A ( n ) …

14 entropy  intuition  information-theory 

Model campuran Gaussian (GMM) menarik karena mudah digunakan baik secara analitis maupun dalam praktik, dan mampu memodelkan beberapa distribusi eksotis tanpa terlalu banyak kerumitan. Ada beberapa sifat analitik yang harus kita pegang yang umumnya tidak jelas. Khususnya: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? Katakanlah kita memiliki distribusi kontinu dan kami telah menemukan …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

Untuk variabel acak kontinu acak, katakanlah XXX , apakah entropi diferensialnya selalu kurang dari ∞∞\infty ? (Tidak apa-apa jika −∞−∞-\infty .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari ∞∞\infty ?

14 entropy  information-theory  maximum-entropy 

Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum. Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima dll?

13 entropy  information-theory  maximum-entropy 

Saya telah bekerja pada sampel penting cukup dekat selama setahun terakhir dan memiliki beberapa pertanyaan terbuka yang saya harap dapat membantu. Pengalaman praktis saya dengan skema sampel penting adalah bahwa mereka kadang-kadang dapat menghasilkan estimasi varians rendah dan bias rendah yang fantastis. Namun, lebih sering, mereka cenderung menghasilkan perkiraan kesalahan …

13 monte-carlo  information-theory  importance-sampling 

Apakah ada gunanya kuantitas ∫f( x )2dx∫f(x)2dx \int f(x)^2 dx dalam statistik atau teori informasi?

13 probability  entropy  information-theory 

Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran saya tentang masalah ini sebentar lagi, tetapi sebelum saya …

13 correlation  information-theory  mutual-information 

Entropi diferensial dari Gaussian RV adalah . Ini tergantung padaσ, yang merupakan standar deviasi.catatan2( σ2 πe---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif karena kompleksitas Kolmogorov dari normalisasi konstan harus sangat kecil dibandingkan dengan pengurangan entropi. Seseorang dapat dengan …

13 information-theory  entropy  randomness 

Dari Wikipedia ada definisi Akaike Information Criterion (AIC) sebagai , di mana adalah jumlah parameter dan \ log L adalah log-kemungkinan model.k log LAIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Namun, Ekonometrik kami mencatat di universitas yang dihormati bahwa AIC=log(σ^2)+2⋅kTAIC=log⁡(σ^2)+2⋅kT AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T} …

12 econometrics  aic  arma  information-theory 

(Saya memposting pertanyaan serupa di math.se. ) Dalam geometri informasi, penentu matriks informasi Fisher adalah bentuk volume alami pada manifold statistik, sehingga memiliki interpretasi geometris yang bagus. Fakta bahwa itu muncul dalam definisi sebelumnya Jeffreys, misalnya, terkait dengan invariannya di bawah reparametrizations, yang (imho) properti geometris. Tapi apa yang menentukan …

12 variance  information-theory  fisher-information  information-geometry 

Catatan: pertanyaan ini adalah repost, karena pertanyaan saya sebelumnya harus dihapus karena alasan hukum. Sambil membandingkan PROC CAMPURAN dari SAS dengan fungsi lmedari nlmepaket di R, saya menemukan beberapa perbedaan yang agak membingungkan. Lebih khusus lagi, derajat kebebasan dalam berbagai tes berbeda antara PROC MIXEDdan lme, dan saya bertanya-tanya mengapa. …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Saya ingin menghitung divergensi jensen-shannon untuknya mengikuti 3 distribusi. Apakah perhitungan di bawah ini benar? (Saya mengikuti rumus JSD dari wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, …

12 distance-functions  information-theory