Pertanyaan yang diberi tag «neural-networks»

Saya mencoba menambahkan lapisan softmax ke jaringan saraf yang dilatih dengan backpropagation, jadi saya mencoba menghitung gradiennya. Output softmax adalah mana adalah nomor neuron output.hj= ezj∑ ezsayahj=ezj∑ezsayah_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Jika saya mendapatkannya maka saya mendapatkannya ∂hj∂zj= hj( 1 - jamj)∂hj∂zj=hj(1-hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Mirip dengan regresi logistik. Namun ini salah karena pemeriksaan gradien …

43 neural-networks 

Adakah yang bisa menjelaskan apa yang dilakukan unit maxout dalam jaringan saraf? Bagaimana kinerjanya dan bagaimana perbedaannya dari unit konvensional? Saya mencoba membaca makalah "Maxout Network" 2013 oleh Goodfellow et al. (dari kelompok Profesor Yoshua Bengio), tapi saya tidak mengerti.

42 machine-learning  neural-networks 

Momentum digunakan untuk mengurangi fluktuasi perubahan berat selama iterasi berurutan:αα\alpha Δ ωsaya( t + 1 ) =- η∂E∂wsaya+ α Δωsaya( t ) ,Δωsaya(t+1)=-η∂E∂wsaya+αΔωsaya(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), mana adalah fungsi kesalahan, - vektor bobot, - tingkat pembelajaran.E( w )E(w)E({\bf w})ww{\bf w}ηη\eta Pembusukan berat menghukum perubahan …

41 neural-networks  optimization  regularization  gradient-descent 

Mengapa fungsi sigmoid standar de-facto, , begitu populer di jaringan saraf dan regresi logistik (tidak dalam)?11 + e- x11+e-x\frac{1}{1+e^{-x}} Mengapa kita tidak menggunakan banyak fungsi turunan lainnya, dengan waktu perhitungan yang lebih cepat atau peluruhan yang lebih lambat (sehingga gradien menghilang lebih sedikit). Beberapa contoh ada di Wikipedia tentang fungsi …

40 logistic  neural-networks  least-squares 

Saya hanya basah karena statistik, jadi saya minta maaf jika pertanyaan ini tidak masuk akal. Saya telah menggunakan model Markov untuk memprediksi keadaan tersembunyi (kasino tidak adil, gulungan dadu, dll.) Dan jaringan saraf untuk mempelajari klik pengguna pada mesin pencari. Keduanya memiliki status tersembunyi yang kami coba cari tahu menggunakan …

40 data-mining  algorithms  neural-networks  markov-process 

Saya menemukan unit linear diperbaiki (ReLU) dipuji di beberapa tempat sebagai solusi untuk masalah gradien menghilang untuk jaringan saraf. Artinya, seseorang menggunakan maks (0, x) sebagai fungsi aktivasi. Ketika aktivasi positif, jelas bahwa ini lebih baik daripada, katakanlah, fungsi aktivasi sigmoid, karena derivasiasinya selalu 1 bukannya nilai kecil sewenang-wenang untuk …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Saya mencoba untuk memprediksi hasil dari sistem yang kompleks menggunakan jaringan saraf (JST). Nilai hasil (tergantung) berkisar antara 0 dan 10.000. Variabel input yang berbeda memiliki rentang yang berbeda. Semua variabel memiliki distribusi normal. Saya mempertimbangkan berbagai opsi untuk mengukur data sebelum pelatihan. Salah satu opsi adalah menskalakan variabel input …

40 machine-learning  neural-networks  multidimensional-scaling 

Dalam makalah klasifikasi ImageNet tingkat kesalahan top-1 dan top-5 adalah unit penting untuk mengukur keberhasilan beberapa solusi, tetapi apa tingkat kesalahan itu? Dalam Klasifikasi ImageNet dengan Jaringan Neural Konvolusional Dalam oleh Krizhevsky et al. setiap solusi berdasarkan pada satu CNN (halaman 7) tidak memiliki tingkat kesalahan top-5 sedangkan yang dengan …

38 classification  neural-networks  error  measurement-error  image-processing 

Jaringan saraf sering diperlakukan sebagai "kotak hitam" karena strukturnya yang kompleks. Ini tidak ideal, karena sering bermanfaat untuk memiliki pemahaman intuitif tentang bagaimana model bekerja secara internal. Apa metode memvisualisasikan bagaimana jaringan saraf yang terlatih bekerja? Atau, bagaimana kita dapat mengekstrak deskripsi jaringan yang mudah dicerna (mis. Simpul tersembunyi ini …

37 data-visualization  neural-networks 

Suatu masalah yang sering saya lihat dalam konteks Neural Networks pada umumnya, dan Deep Neural Networks pada khususnya, adalah bahwa mereka "lapar data" - yaitu mereka tidak berkinerja baik kecuali kita memiliki kumpulan data yang besar untuk melatih jaringan. Pemahaman saya adalah bahwa ini disebabkan oleh fakta bahwa NNets, terutama …

37 neural-networks  deep-learning  regularization 

Saya melatih jaringan saraf dan kehilangan pelatihan berkurang, tetapi kehilangan validasi tidak, atau berkurang jauh lebih sedikit daripada yang saya harapkan, berdasarkan referensi atau percobaan dengan arsitektur dan data yang sangat mirip. Bagaimana saya bisa memperbaikinya? Adapun pertanyaan Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? dimana …

37 neural-networks  deep-learning 

Apa perbedaan antara istilah "kernel" dan "filter" dalam konteks jaringan saraf convolutional?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas kategoris yang biasanya ditemukan di sebagian besar perpustakaan (seperti TensorFlow), apakah …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Fungsi biaya jaringan saraf adalah , dan diklaim non-cembung . Saya tidak begitu mengerti mengapa seperti itu, karena seperti yang saya lihat itu sangat mirip dengan fungsi biaya dari regresi logistik, kan?J(W,b)J(W,b)J(W,b) Jika non-cembung, maka turunan urutan kedua , kan?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 MEMPERBARUI Berkat jawaban di bawah ini …

36 neural-networks  loss-functions 

LSTM diciptakan khusus untuk menghindari masalah gradien hilang. Seharusnya melakukan itu dengan Constant Error Carousel (CEC), yang pada diagram di bawah ini (dari Greff et al. ) Sesuai dengan loop di sekitar sel . (sumber: deeplearning4j.org ) Dan saya mengerti bahwa bagian itu dapat dilihat sebagai semacam fungsi identitas, sehingga …

35 neural-networks  lstm