Pertanyaan yang diberi tag «entropy»

Saya menerapkan fungsi berikut untuk menghitung entropi: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Hasil: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # …

11 mathematical-statistics  python  entropy 

Salah satu masalah penting yang dihadapi oleh peramal adalah apakah seri yang diberikan dapat diperkirakan atau tidak? Saya menemukan sebuah artikel berjudul " Entropi sebagai Indikator A Priori dari Kemampuan Prakiraan " oleh Peter Catt yang menggunakan Perkiraan Entropi (ApEn) sebagai ukuran relatif untuk menentukan seri waktu tertentu yang dapat …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Mencoba memahami hubungan antara entropi-silang dan kebingungan. Secara umum untuk model M , Perplexity (M) = 2 ^ entropy (M) . Apakah hubungan ini berlaku untuk semua n-gram yang berbeda, yaitu unigram, bigram, dll.?

10 natural-language  entropy  perplexity 

Saya mengamati bahwa Caffe (kerangka pembelajaran yang mendalam) menggunakan Softmax Loss Layer SoftmaxWithLoss sebagai lapisan keluaran untuk sebagian besar sampel model . Sejauh yang saya tahu, lapisan Softmax Loss adalah kombinasi dari Multinomial Logistic Loss Layer dan Softmax Layer . Dari Caffe, mereka mengatakan itu Komputasi gradien Softmax Loss Layer …

9 multinomial  entropy  sums-of-squares  softmax 

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]? Informasi timbal balik yang bijak adalah: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. …

9 entropy  information-theory  mutual-information 

Pertanyaan pendek: Mengapa ini benar ?? Pertanyaan panjang: Sederhananya, saya mencoba mencari tahu apa yang membenarkan persamaan pertama ini. Penulis buku yang saya baca, (konteks di sini jika Anda menginginkannya, tetapi tidak perlu), mengklaim sebagai berikut: Karena asumsi near-gaussianity, kita dapat menulis: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( …

9 probability  normal-distribution  entropy  maximum-entropy 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Salam pembuka, Saat ini saya sedang melakukan hal berikut di R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Cuplikan dari summary.csv: …

9 r  time-series  data-visualization  entropy 

Saya punya beberapa pertanyaan yang cukup lama. Tes entropi sering digunakan untuk mengidentifikasi data yang dienkripsi. Entropi mencapai maksimum ketika byte dari data yang dianalisis didistribusikan secara seragam. Tes entropi mengidentifikasi data yang dienkripsi, karena data ini memiliki data terkompresi seperti distribusi yang seragam, yang diklasifikasikan sebagai terenkripsi ketika menggunakan …

8 distributions  hypothesis-testing  chi-squared  entropy  compression