Pertanyaan yang diberi tag «kullback-leibler»

Memilih parameter parameter distribusi gamma Γ(b,c)Γ(b,c)\Gamma(b,c) oleh pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Perbedaan Kullback-Leibler antaraΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)danΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)diberikan oleh [1] sebagai KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Saya menduga bahwa Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) adalah fungsi digamma . …

15 kullback-leibler  gamma-distribution  exponential-family 

Saya menggunakan KL Divergence sebagai ukuran ketidaksamaan antara 2 p.m.f.p.m.f.p.m.f. PPP dan QQQ . DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Jika maka kita dapat dengan mudah menghitung bahwa P ( X i ) l n ( Q ( X i ) ) = …

15 distributions  distance  kullback-leibler 

Saya membandingkan dua distribusi dengan KL divergence yang mengembalikan saya nomor non-standar yang, menurut apa yang saya baca tentang ukuran ini, adalah jumlah informasi yang diperlukan untuk mengubah satu hipotesis menjadi yang lain. Saya punya dua pertanyaan: a) Apakah ada cara untuk mengukur divergensi KL sehingga memiliki interpretasi yang lebih …

14 distributions  kullback-leibler  information-geometry 

Saya akan menggunakan KL divergence dalam kode python saya dan saya mendapatkan tutorial ini . Pada tutorial itu, untuk mengimplementasikan KL divergence cukup sederhana. kl = (model * np.log(model/actual)).sum() Seperti yang saya pahami, distribusi probabilitas modeldan actualharus <= 1. Pertanyaan saya adalah, apa nilai maksimum k / terikat maksimum? Saya …

14 machine-learning  distance  kullback-leibler 

Saya tahu bahwa KL Divergence tidak simetris dan tidak dapat secara ketat dianggap sebagai metrik. Jika demikian, mengapa digunakan ketika JS Divergence memenuhi properti yang diperlukan untuk metrik? Apakah ada skenario di mana KL divergence dapat digunakan tetapi tidak JS Divergence atau sebaliknya?

14 probability  distributions  kullback-leibler  metric 

Jika p(x)p(x)p(x) adalah distribusi probabilitas dengan nilai bukan nol pada [0,+∞)[0,+∞)[0,+\infty) , untuk tipe p(x)p(x)p(x) apa ada konstanta c>0c>0c\gt 0 sehingga ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2untuk semua0<ϵ<10<ϵ<10\lt\epsilon\lt 1? Ketidaksamaan di atas sebenarnya adalah Kullback-Leibler Divergence antara distribusi p(x)p(x)p(x) dan versi terkompresi (1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}) . Saya telah menemukan bahwa ketidaksetaraan ini berlaku …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Saya bukan ahli matematika. Saya telah mencari di internet tentang KL Divergence. Apa yang saya pelajari adalah divergensi KL mengukur informasi yang hilang ketika kami memperkirakan distribusi model sehubungan dengan distribusi input. Saya telah melihat ini di antara dua distribusi kontinu atau diskrit. Bisakah kita melakukannya antara terus menerus dan …

12 distributions  mathematical-statistics  kullback-leibler 

Saya telah melihat di beberapa titik penggunaan turunan Radon-Nikodym dari satu ukuran probabilitas terhadap yang lain, terutama dalam divergensi Kullback-Leibler, di mana itu adalah turunan dari ukuran probabilitas model untuk beberapa parameter arbitrer sehubungan dengan parameter nyata :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Di mana ini adalah kedua ukuran probabilitas pada ruang …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Saya sedang menjalankan simulasi cepat untuk membandingkan metode pengelompokan yang berbeda, dan saat ini mengalami kesulitan mencoba untuk mengevaluasi solusi cluster. Saya tahu berbagai metrik validasi (banyak ditemukan di cluster.stats () di R), tetapi saya menganggap itu paling baik digunakan jika perkiraan jumlah cluster sebenarnya sama dengan jumlah sebenarnya dari …

11 clustering  kullback-leibler  gaussian-mixture 

Saya mencoba menerapkan estimasi numerik Kullback-Leibler Divergence untuk dua sampel. Untuk debug implementasi, ambil sampel dari dua distribusi normal dan .N ( 1 , 2 )N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Untuk perkiraan sederhana saya menghasilkan dua histogram dan mencoba untuk memperkirakan secara integral numerik. Saya terjebak dengan menangani bagian-bagian histogram …

10 estimation  intuition  kullback-leibler  numerics 

Saya memiliki tiga set data X, Y dan Z. Setiap set data menentukan frekuensi suatu peristiwa yang terjadi. Sebagai contoh: Kumpulan Data X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 dan seterusnya .. Kumpulan Data Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: …

10 kullback-leibler 

Dalam penelitian saya, saya telah mengalami masalah umum berikut: Saya memiliki dua distribusi dan di domain yang sama, dan sejumlah besar sampel (tetapi terbatas) dari distribusi tersebut. Sampel didistribusikan secara independen dan identik dari salah satu dari dua distribusi ini (meskipun distribusi mungkin terkait: misalnya, mungkin campuran dan beberapa distribusi …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Saya telah mengimplementasikan VAE dan saya perhatikan dua implementasi online berbeda dari divergensi KL gaussian univariat yang disederhanakan. Perbedaan asli sebagai per sini adalah Jika kita menganggap kami sebelumnya adalah unit gaussian yaituμ2=0danσ2=1, menyederhanakan ini ke KLloss=-log(σ1)+σ 2 1 +μ 2 1KL.l o s s= log( σ2σ1) + σ21+ ( …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Saya ingin memperkirakan perbedaan KL antara dua distribusi kontinu f dan g. Namun, saya tidak bisa menuliskan kepadatan untuk f atau g. Saya dapat mengambil sampel dari kedua f dan g melalui beberapa metode (misalnya, rantai markov monte carlo). Perbedaan KL dari f ke g didefinisikan seperti ini DKL.( f| …

10 kullback-leibler