Pertanyaan yang diberi tag «softmax»

Apa yang menentukan pilihan fungsi (Softmax vs Sigmoid) dalam pengklasifikasi Logistik? Misalkan ada 4 kelas output. Masing-masing fungsi di atas memberikan probabilitas masing-masing kelas menjadi hasil yang benar. Jadi mana yang harus diambil untuk classifier?

63 machine-learning  logistic  classification  softmax 

Saya mencoba memahami bagaimana backpropagation bekerja untuk lapisan output softmax / cross-entropy. Fungsi kesalahan lintas entropi adalah E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j dengan ttt dan ooo sebagai target dan output pada neuron jjj , masing-masing. Jumlahnya adalah di atas setiap neuron di lapisan output. ojojo_j itu sendiri merupakan hasil dari fungsi …

40 backpropagation  derivative  softmax  cross-entropy 

Saya membaca halaman ini: http://neuralnetworksanddeeplearning.com/chap3.html dan dikatakan bahwa lapisan keluaran sigmoid dengan cross-entropy cukup mirip dengan lapisan keluaran softmax dengan kemungkinan log. apa yang terjadi jika saya menggunakan sigmoid dengan log-likelihood atau softmax dengan cross entropy pada layer output? itu baik? karena saya melihat hanya ada sedikit perbedaan dalam persamaan …

31 neural-networks  maximum-likelihood  softmax 

Saya telah bekerja dengan Convolutional Neural Networks (CNNs) untuk beberapa waktu sekarang, sebagian besar pada data gambar untuk segmentasi semantik / contoh segmentasi. Saya sering memvisualisasikan softmax dari output jaringan sebagai "peta panas" untuk melihat seberapa tinggi per pixel aktivasi untuk kelas tertentu. Saya telah menafsirkan aktivasi rendah sebagai prediksi …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Menerapkan fungsi softmax pada vektor akan menghasilkan "probabilitas" dan nilai antara dan . 000111 Tetapi kita juga dapat membagi setiap nilai dengan jumlah vektor dan itu akan menghasilkan probabilitas dan nilai antara dan .000111 Saya membaca jawabannya di sini tetapi mengatakan bahwa alasannya adalah karena itu dapat dibedakan, meskipun Kedua …

20 machine-learning  neural-networks  softmax 

Saya memiliki jaringan saraf yang diatur untuk memprediksi sesuatu di mana variabel output adalah ordinal. Saya akan jelaskan di bawah ini dengan menggunakan tiga kemungkinan keluaran A <B <C. Cukup jelas bagaimana menggunakan jaringan saraf untuk menampilkan data kategori: output hanyalah sebuah softmax dari lapisan terakhir (biasanya sepenuhnya terhubung), satu …

20 neural-networks  ordinal-data  softmax 

Tampaknya ada banyak kebingungan dalam perbandingan menggunakan di glmnetdalam caretuntuk mencari lambda yang optimal dan menggunakan cv.glmnetuntuk melakukan tugas yang sama. Banyak pertanyaan diajukan, misalnya: Klasifikasi model train.glmnet vs. cv.glmnet? Apa cara yang tepat untuk menggunakan glmnet dengan caret? Validasi silang `glmnet` menggunakan` caret` tetapi tidak ada jawaban yang diberikan, …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Saya bertanya-tanya mengapa softmax hierarkis lebih baik untuk kata-kata yang jarang, sedangkan pengambilan sampel negatif lebih baik untuk kata-kata yang sering, dalam CBOW dan skip-gram model word2vec. Saya telah membaca klaim di https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Namun, membaca pengantar Tensorflow , cross entropy …

12 neural-networks  loss-functions  softmax  cross-entropy 

Fungsi softmax, yang biasa digunakan dalam jaringan saraf untuk mengubah bilangan real menjadi probabilitas, adalah fungsi yang sama dengan distribusi Boltzmann, distribusi probabilitas atas energi untuk ensembel partikel dalam kesetimbangan termal pada suhu T yang diberikan dalam termodinamika. Saya dapat melihat beberapa alasan heuristik yang jelas mengapa ini praktis: Tidak …

12 machine-learning  neural-networks  softmax 

Saya sedang belajar dan mencoba menerapkan jaringan saraf convolutional, tetapi saya kira pertanyaan ini berlaku untuk perceptrons multilayer secara umum. Neuron keluaran di jaringan saya mewakili aktivasi setiap kelas: neuron paling aktif sesuai dengan kelas prediksi untuk input yang diberikan. Untuk mempertimbangkan biaya lintas-entropi untuk pelatihan, saya menambahkan lapisan softmax …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Menunggu kursus selanjutnya Andrew Ng di Coursera, saya mencoba memprogram classifier Python dengan fungsi softmax pada layer terakhir untuk memiliki …

11 softmax  numerics 

Dalam literatur pembelajaran mesin, untuk mewakili distribusi probabilitas, fungsi softmax sering digunakan. Apakah ada alasan untuk ini? Mengapa fungsi lain tidak digunakan?

10 machine-learning  distributions  softmax 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 11 bulan lalu . Saya perlu menerapkan fungsi aktivasi Softmax ke Perceptron multi-layer di scikit. Dokumentasi scikit pada topik model jaringan saraf (diawasi) mengatakan "MLPClassifier …

9 neural-networks  scikit-learn  multi-class  softmax 

Saya mengamati bahwa Caffe (kerangka pembelajaran yang mendalam) menggunakan Softmax Loss Layer SoftmaxWithLoss sebagai lapisan keluaran untuk sebagian besar sampel model . Sejauh yang saya tahu, lapisan Softmax Loss adalah kombinasi dari Multinomial Logistic Loss Layer dan Softmax Layer . Dari Caffe, mereka mengatakan itu Komputasi gradien Softmax Loss Layer …

9 multinomial  entropy  sums-of-squares  softmax