Pertanyaan yang diberi tag «mutual-information»

Saya ingin mengukur hubungan antara dua variabel, A dan B, menggunakan informasi timbal balik. Cara untuk menghitungnya adalah dengan membuang pengamatan (lihat contoh kode Python di bawah). Namun, faktor apa yang menentukan jumlah sampah yang masuk akal? Saya perlu perhitungan yang cepat jadi saya tidak bisa hanya menggunakan banyak sampah …

10 information-theory  mutual-information  binning 

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]? Informasi timbal balik yang bijak adalah: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. …

9 entropy  information-theory  mutual-information 

Saya kesulitan membangun intuisi tentang entropi bersama. = ketidakpastian dalam distribusi bersama p ( x , y ) ; H ( X ) = ketidakpastian dalam p x ( x ) ; H ( Y ) = ketidakpastian dalam p y ( y ) .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Jika H (X) tinggi maka …

9 information-theory  mutual-information 

Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Apa perbedaan antara Korelasi Silang dan Informasi Saling Menguntungkan. Masalah apa yang bisa dipecahkan dengan menggunakan langkah-langkah ini dan kapan waktu yang tepat untuk menggunakan salah satunya. Terima kasih atas komentarnya. Untuk mengklarifikasi, pertanyaan tersebut didorong oleh minat dalam analisis iomage daripada analisis deret waktu meskipun setiap pencerahan di bidang …

9 cross-correlation  mutual-information