Pertanyaan yang diberi tag «cross-entropy»

Saya melatih jaringan saraf untuk mengklasifikasikan satu set objek menjadi n-kelas. Setiap objek dapat menjadi milik beberapa kelas sekaligus (multi-class, multi-label). Saya membaca bahwa untuk masalah multi-kelas umumnya direkomendasikan untuk menggunakan softmax dan entropi lintas kategorikal sebagai fungsi kerugian alih-alih mse dan saya kurang lebih mengerti mengapa. Untuk masalah saya …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Saya mencoba memahami bagaimana backpropagation bekerja untuk lapisan output softmax / cross-entropy. Fungsi kesalahan lintas entropi adalah E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j dengan ttt dan ooo sebagai target dan output pada neuron jjj , masing-masing. Jumlahnya adalah di atas setiap neuron di lapisan output. ojojo_j itu sendiri merupakan hasil dari fungsi …

40 backpropagation  derivative  softmax  cross-entropy 

Dalam pikiran saya, perbedaan KL dari distribusi sampel ke distribusi sebenarnya hanyalah perbedaan antara cross entropy dan entropy. Mengapa kita menggunakan cross entropy untuk menjadi fungsi biaya dalam banyak model pembelajaran mesin, tetapi menggunakan Kullback-Leibler divergence dalam t-sne? Apakah ada perbedaan kecepatan belajar?

39 kullback-leibler  tsne  cross-entropy 

Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas kategoris yang biasanya ditemukan di sebagian besar perpustakaan (seperti TensorFlow), apakah …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Dalam 5,5, Deep Learning (oleh Ian Goodfellow, Yoshua Bengio dan Aaron Courville), itu menyatakan itu Setiap kerugian yang terdiri dari log-likelihood negatif adalah entropi silang antara distribusi empiris yang ditentukan oleh set pelatihan dan distribusi probabilitas yang ditentukan oleh model. Sebagai contoh, mean squared error adalah cross-entropy antara distribusi empiris …

28 machine-learning  normal-distribution  cross-entropy 

Saat melatih jaringan saraf segmentasi piksel, seperti jaringan konvolusional penuh, bagaimana Anda membuat keputusan untuk menggunakan fungsi kehilangan lintas-entropi versus fungsi kerugian koefisien-dadu? Saya menyadari ini adalah pertanyaan singkat, tetapi tidak yakin informasi apa yang diberikan. Saya melihat sekumpulan dokumentasi tentang dua fungsi yang hilang tetapi tidak bisa memahami secara …

27 neural-networks  loss-functions  cross-entropy 

Kedua Cross-entropy dan KL divergence adalah alat untuk mengukur jarak antara dua distribusi probabilitas. Apa bedanya? H( P, Q ) = -∑xP( x ) logQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL ( P| Q)=∑xP( x ) logP( x )Q ( x )KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} …

25 entropy  kullback-leibler  cross-entropy 

Saya bereksperimen sedikit autoencoder, dan dengan tensorflow saya membuat model yang mencoba merekonstruksi dataset MNIST. Jaringan saya sangat sederhana: X, e1, e2, d1, Y, di mana e1 dan e2 adalah lapisan pengkodean, d2 dan Y adalah lapisan decoding (dan Y adalah output yang direkonstruksi). X memiliki 784 unit, e1 memiliki …

19 mse  autoencoders  tensorflow  cross-entropy 

Apakah biaya lintas-entropi masuk akal dalam konteks regresi (berlawanan dengan klasifikasi)? Jika demikian, dapatkah Anda memberikan contoh mainan melalui TensorFlow? Jika tidak, mengapa tidak? Saya membaca tentang cross-entropy di Neural Networks dan Deep Learning oleh Michael Nielsen dan sepertinya sesuatu yang secara alami dapat digunakan untuk regresi maupun klasifikasi, tetapi …

13 regression  entropy  tensorflow  cross-entropy 

Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Namun, membaca pengantar Tensorflow , cross entropy …

12 neural-networks  loss-functions  softmax  cross-entropy 

Saya mengerti bahwa diberikan satu set pengamatan independen yang Maximum Likelihood Estimator (atau, sama, MAP dengan datar / seragam sebelumnya) yang mengidentifikasi parameter yang menghasilkan distribusi Model p_ {Model} \ kiri (\, \ cdot \,; \ mathbf {θ} \ kanan) yang paling cocok dengan pengamatan itu adalahmmmO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . . …

12 maximum-likelihood  deep-learning  cross-entropy 

Untuk dua distribusi diskrit dan , cross entropy didefinisikan sebagaipppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Saya bertanya-tanya mengapa ini akan menjadi ukuran intuitif jarak antara dua distribusi probabilitas? Saya melihat bahwa adalah entropi dari , yang mengukur "kejutan" dari . adalah ukuran yang sebagian menggantikan dengan . Saya masih tidak mengerti arti …

11 probability  distributions  cross-entropy 

Saya telah mencoba membuat program untuk melatih Neural Networks di komputer saya. Untuk Jaringan yang dimaksud, saya telah memutuskan untuk menggunakan fungsi Cross Entropy Error: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Di mana adalah output target untuk Neuron , dan adalah output dari neuron itu, mencoba untuk memprediksi .tjtjt_jjjjojojo_jtjtjt_j Saya ingin tahu …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations