Pertanyaan yang diberi tag «information-theory»

Saya telah melihat beberapa pertanyaan di sini tentang apa artinya dalam istilah awam, tetapi ini terlalu awam untuk tujuan saya di sini. Saya mencoba memahami secara matematis apa arti skor AIC. Tetapi pada saat yang sama, saya tidak ingin bukti yang kuat yang akan membuat saya tidak melihat poin yang …

34 self-study  model-selection  aic  entropy  information-theory 

Saya mencari penjelasan intuitif untuk pertanyaan berikut: Dalam teori statistik dan informasi, apa perbedaan antara jarak Bhattacharyya dan divergensi KL, sebagai ukuran perbedaan antara dua distribusi probabilitas diskrit? Apakah mereka sama sekali tidak memiliki hubungan dan mengukur jarak antara dua distribusi probabilitas dengan cara yang sama sekali berbeda?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Andrew More mendefinisikan perolehan informasi sebagai: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) di mana adalah entropi bersyarat . Namun, Wikipedia menyebut informasi timbal balik kuantitas di atas .H(Y|X)H(Y|X)H(Y|X) Wikipedia di sisi lain mendefinisikan perolehan informasi sebagai divergensi Kullback-Leibler (alias divergensi informasi atau entropi relatif) antara dua variabel acak: DKL(P||Q)=H(P,Q)−H(P)DKL(P||Q)=H(P,Q)−H(P)D_{KL}(P||Q) = H(P,Q) …

33 information-theory 

Apakah ada ukuran kesamaan atau jarak antara dua matriks kovarians simetris (keduanya memiliki dimensi yang sama)? Saya berpikir di sini analog dengan KL divergensi dari dua distribusi probabilitas atau jarak Euclidean antara vektor kecuali diterapkan pada matriks. Saya membayangkan akan ada beberapa pengukuran kesamaan. Idealnya saya juga ingin menguji hipotesis …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi. Untuk menguraikan pemahaman saya dari latar belakang teori informasi: Jika kita memiliki variabel acak …

23 inference  entropy  information-theory  kullback-leibler  compression 

Saya telah menggunakan prinsip entropi maksimum untuk membenarkan penggunaan beberapa distribusi di berbagai pengaturan; akan tetapi, saya belum dapat merumuskan interpretasi statistik, sebagai lawan dari teori informasi, dari entropi maksimum. Dengan kata lain, apa yang memaksimumkan entropi menyiratkan tentang sifat statistik distribusi? Adakah yang bertemu atau mungkin menemukan diri Anda …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Saya sedang mempelajari pohon klasifikasi dan regresi, dan salah satu ukuran untuk lokasi split adalah skor GINI. Sekarang saya terbiasa menentukan lokasi split terbaik ketika log rasio kemungkinan dari data yang sama antara dua distribusi adalah nol, yang berarti kemungkinan keanggotaan sama-sama mungkin. Intuisi saya mengatakan bahwa harus ada semacam …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya sedang menerapkan tes statistik di mana saya …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Baru-baru ini, saya membaca dua artikel. Yang pertama adalah tentang sejarah korelasi dan yang kedua adalah tentang metode baru yang disebut Maximal Information Coefficient (MIC). Saya butuh bantuan Anda untuk memahami metode MIC untuk memperkirakan korelasi non-linear antara variabel. Selain itu, Instruksi penggunaannya dalam R dapat ditemukan di situs web …

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

Dalam definisi set bersama (dalam "Elemen Teori Informasi", bab 7.6, hal. 195), kita menggunakan np(xn)=∏ n i = 1 p(xi)- 1ncatatanp ( xn)-1ncatatan⁡hal(xn)-\frac{1}{n} \log{p(x^n)} sebagai entropi empiris dari sebuah -berikutnya dengan . Saya tidak pernah menemukan terminologi ini sebelumnya. Itu tidak didefinisikan secara eksplisit di mana saja sesuai dengan indeks …

19 information-theory  entropy 

Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan sebagai: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) yaitu itu adalah nilai rata-rata dari pmi information mutual pointwise .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Misalkan saya tahu …

18 entropy  mutual-information  information-theory 

Mari kita perhatikan dua distribusi probabilitas berikut P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Saya telah menghitung divergensi Kullback-Leibler yang sama dengan , saya ingin tahu secara umum apa yang ditunjukkan angka ini kepada saya? Secara umum, …

18 interpretation  information-theory  kullback-leibler 

Mengapa divergensi KL non-negatif? Dari perspektif teori informasi, saya memiliki pemahaman yang intuitif: Katakanlah ada dua ansambel AAA dan BBB yang terdiri dari himpunan elemen yang sama dengan label xxx . p(x)p(x)p(x) dan q(x)q(x)q(x) adalah distribusi probabilitas yang berbeda atas masing-masing ensemble AAA dan BBB Dari perspektif teori informasi, adalah …

18 information-theory  kullback-leibler 

Saya telah mencoba menghitung AIC dari regresi linier dalam R tetapi tanpa menggunakan AICfungsi, seperti ini: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Namun, AICmemberikan nilai berbeda: AIC(lm_mtcars) [1] 190.7999 Bisakah seseorang memberi tahu saya apa yang saya lakukan salah?

15 r  aic  information-theory 

Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan menyebabkan lebih banyak informasi hilang. Namun, satu dan hanya satu asumsi yang tidak …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information