Pertanyaan yang diberi tag «mutual-information»

informasi timbal balik adalah konsep dari teori informasi. Ini adalah ukuran ketergantungan bersama antara dua variabel acak, yang tidak, seperti koefisien korelasi biasa, terbatas pada variabel skalar.

3
Dapatkah algoritma MIC untuk mendeteksi korelasi non-linear dijelaskan secara intuitif?
Baru-baru ini, saya membaca dua artikel. Yang pertama adalah tentang sejarah korelasi dan yang kedua adalah tentang metode baru yang disebut Maximal Information Coefficient (MIC). Saya butuh bantuan Anda untuk memahami metode MIC untuk memperkirakan korelasi non-linear antara variabel. Selain itu, Instruksi penggunaannya dalam R dapat ditemukan di situs web …
2
Bounding informasi mutual diberikan batasan pada informasi mutual pointwise
Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Informasi timbal balik antara dan didefinisikan sebagai: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) yaitu itu adalah nilai rata-rata dari pmi information mutual pointwise .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Misalkan saya tahu …
1
Apa intuisi di balik sampel yang dapat ditukar di bawah hipotesis nol?
Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan menyebabkan lebih banyak informasi hilang. Namun, satu dan hanya satu asumsi yang tidak …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Korelasi jarak versus informasi timbal balik
Saya telah bekerja dengan informasi timbal balik untuk beberapa waktu. Tetapi saya menemukan ukuran yang sangat baru dalam "dunia korelasi" yang juga dapat digunakan untuk mengukur independensi distribusi, yang disebut "korelasi jarak" (juga disebut korelasi Brown): http://en.wikipedia.org/wiki/Brownian_covariance . Saya memeriksa makalah tempat langkah ini diperkenalkan, tetapi tanpa menemukan kiasan untuk …
1
Menggunakan informasi timbal balik untuk memperkirakan korelasi antara variabel kontinu dan variabel kategori
Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran saya tentang masalah ini sebentar lagi, tetapi sebelum saya …
2
Informasi Reksa sebagai probabilitas
Dapatkah informasi timbal balik melalui entropi bersama: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 didefinisikan sebagai: "Peluang menyampaikan informasi dari X ke Y"? Saya minta maaf karena begitu naif, tetapi saya belum pernah mempelajari teori informasi, dan saya mencoba hanya untuk memahami beberapa konsep tentang itu.
1
Apa pro dan kontra dari penerapan informasi timbal balik secara langsung pada matriks kata cooccurrence sebelum SVD?
Salah satu cara untuk menghasilkan embeddings kata adalah sebagai berikut ( mirror ): Dapatkan kopral, misalnya "Saya menikmati terbang. Saya suka NLP. Saya suka belajar dalam-dalam." Bangun kata cooccurrence matrix dari itu: Lakukan SVD pada , dan pertahankan kolom pertama U.XXXkkk Setiap baris submatrix akan menjadi kata embedding dari kata …
1
Mengapa orang menggunakan istilah "bobot bukti" dan bagaimana perbedaannya dari "informasi timbal balik yang tajam"?
Di sini, "bobot bukti" (WOE) adalah istilah umum dalam literatur ilmiah dan pembuatan kebijakan yang diterbitkan, paling sering terlihat dalam konteks penilaian risiko, yang didefinisikan oleh: w ( e : h ) = logp ( e | h )p ( e | h¯¯¯)w(e:h)=log⁡p(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} di mana adalah …
1
Mengapa ahli statistik tidak menggunakan informasi timbal balik sebagai ukuran hubungan?
Saya telah melihat beberapa pembicaraan oleh non-ahli statistik di mana mereka tampaknya menemukan kembali langkah-langkah korelasi menggunakan informasi timbal balik daripada regresi (atau tes statistik setara / terkait erat). Saya ambil ada alasan bagus ahli statistik tidak mengambil pendekatan ini. Pemahaman awam saya adalah bahwa penduga entropi / informasi timbal …
1
Bagaimana cara menghitung informasi timbal balik?
Saya sedikit bingung. Bisakah seseorang menjelaskan kepada saya bagaimana menghitung informasi timbal balik antara dua istilah berdasarkan matriks dokumen-jangka dengan kemunculan istilah biner sebagai bobot? Document1Document2D o c ument3′Why′111′How′101′Wh en′111′Wh e r e′100′Why′′HHaiw′′When′′Where′DHaickamument11111DHaickamument21010DHaickamument31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 …
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.