Pertanyaan yang diberi tag «kullback-leibler»

Saya perlu menentukan KL-divergence antara dua Gaussians. Saya membandingkan hasil saya dengan ini , tetapi saya tidak dapat mereproduksi hasilnya. Hasil saya jelas salah, karena KL bukan 0 untuk KL (p, p). Saya bertanya-tanya di mana saya melakukan kesalahan dan bertanya apakah ada yang bisa menemukannya. Biarkan dan . Dari …

79 normal-distribution  kullback-leibler 

Saya telah belajar tentang intuisi di balik KL Divergence karena seberapa banyak fungsi distribusi model berbeda dari distribusi teoritis / benar data. Sumber saya membaca selanjutnya mengatakan bahwa pemahaman intuitif 'jarak' antara dua distribusi ini sangat membantu, tetapi tidak harus diambil secara harfiah karena selama dua distribusi PPP dan QQQ …

47 distributions  distance  intuition  kullback-leibler 

Saya mengalami kesulitan memperoleh rumus divergensi KL dengan asumsi dua distribusi normal multivariat. Saya sudah melakukan kasus univariat dengan cukup mudah. Namun, sudah cukup lama sejak saya mengambil statistik matematika, jadi saya mengalami kesulitan untuk memperluasnya ke kasus multivarian. Saya yakin saya hanya melewatkan sesuatu yang sederhana. Inilah yang saya …

46 normal-distribution  kullback-leibler  proof 

Dalam pikiran saya, perbedaan KL dari distribusi sampel ke distribusi sebenarnya hanyalah perbedaan antara cross entropy dan entropy. Mengapa kita menggunakan cross entropy untuk menjadi fungsi biaya dalam banyak model pembelajaran mesin, tetapi menggunakan Kullback-Leibler divergence dalam t-sne? Apakah ada perbedaan kecepatan belajar?

39 kullback-leibler  tsne  cross-entropy 

Saya dapat melihat bahwa ada banyak perbedaan formal antara ukuran jarak Kullback-Leibler vs Kolmogorov-Smirnov. Namun, keduanya digunakan untuk mengukur jarak antar distribusi. Apakah ada situasi khusus di mana satu harus digunakan dan bukan yang lain? Apa alasan untuk melakukannya?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Saya mencari penjelasan intuitif untuk pertanyaan berikut: Dalam teori statistik dan informasi, apa perbedaan antara jarak Bhattacharyya dan divergensi KL, sebagai ukuran perbedaan antara dua distribusi probabilitas diskrit? Apakah mereka sama sekali tidak memiliki hubungan dan mengukur jarak antara dua distribusi probabilitas dengan cara yang sama sekali berbeda?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Apakah ada ukuran kesamaan atau jarak antara dua matriks kovarians simetris (keduanya memiliki dimensi yang sama)? Saya berpikir di sini analog dengan KL divergensi dari dua distribusi probabilitas atau jarak Euclidean antara vektor kecuali diterapkan pada matriks. Saya membayangkan akan ada beberapa pengukuran kesamaan. Idealnya saya juga ingin menguji hipotesis …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Lihatlah foto ini: Jika kita mengambil sampel dari kepadatan merah maka beberapa nilai diharapkan kurang dari 0,25 sedangkan tidak mungkin untuk menghasilkan sampel seperti itu dari distribusi biru. Akibatnya, jarak Kullback-Leibler dari kepadatan merah ke densitas biru adalah tak terbatas. Namun, dua kurva tidak begitu berbeda, dalam beberapa "pengertian alami". …

28 kullback-leibler 

Apa perbedaan praktis antara metrik Wasserstein dan divergensi Kullback-Leibler ? Metrik Wasserstein juga disebut sebagai jarak penggerak Bumi . Dari Wikipedia: Metrik Wasserstein (atau Vaserstein) adalah fungsi jarak yang didefinisikan antara distribusi probabilitas pada ruang metrik M. dan Divergensi Kullback – Leibler adalah ukuran bagaimana satu distribusi probabilitas berbeda dari …

25 distributions  kullback-leibler  metric  wasserstein 

Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya? H( P, Q ) = -∑xP( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL ( P| Q)=∑xP( x ) logP( x )Q ( x )KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} …

25 entropy  kullback-leibler  cross-entropy 

Setelah banyak memukulkan Cross Validated, saya masih tidak merasa seperti saya lebih dekat untuk memahami perbedaan KL di luar bidang teori informasi. Agak aneh jika seseorang dengan latar belakang matematika lebih mudah memahami penjelasan teori informasi. Untuk menguraikan pemahaman saya dari latar belakang teori informasi: Jika kita memiliki variabel acak …

23 inference  entropy  information-theory  kullback-leibler  compression 

Saya sedang mempelajari pohon klasifikasi dan regresi, dan salah satu ukuran untuk lokasi split adalah skor GINI. Sekarang saya terbiasa menentukan lokasi split terbaik ketika log rasio kemungkinan dari data yang sama antara dua distribusi adalah nol, yang berarti kemungkinan keanggotaan sama-sama mungkin. Intuisi saya mengatakan bahwa harus ada semacam …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Dapatkah seseorang membuktikan hubungan berikut antara metrik informasi Fisher dan entropi relatif (atau divergensi KL) dengan cara yang benar-benar ketat secara matematis? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) where a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n), gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Mari kita perhatikan dua distribusi probabilitas berikut P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Saya telah menghitung divergensi Kullback-Leibler yang sama dengan , saya ingin tahu secara umum apa yang ditunjukkan angka ini kepada saya? Secara umum, …

18 interpretation  information-theory  kullback-leibler 

Mengapa divergensi KL non-negatif? Dari perspektif teori informasi, saya memiliki pemahaman yang intuitif: Katakanlah ada dua ansambel AAA dan BBB yang terdiri dari himpunan elemen yang sama dengan label xxx . p(x)p(x)p(x) dan q(x)q(x)q(x) adalah distribusi probabilitas yang berbeda atas masing-masing ensemble AAA dan BBB Dari perspektif teori informasi, adalah …

18 information-theory  kullback-leibler