Pertanyaan yang diberi tag «neural-networks»

Fungsi aktivasi tanh adalah: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Di mana , fungsi sigmoid, didefinisikan sebagai: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Pertanyaan: Apakah benar-benar penting antara menggunakan kedua fungsi aktivasi (tanh vs sigma)? Fungsi mana yang lebih baik dalam hal …

82 machine-learning  neural-networks  optimization  cost-maximization 

Dalam beberapa tahun terakhir, jaringan saraf convolutional (atau mungkin jaringan saraf yang dalam secara umum) telah menjadi lebih dalam dan lebih dalam, dengan jaringan canggih mulai dari 7 lapisan ( AlexNet ) hingga 1000 lapisan ( Residual Nets) di ruang 4 tahun. Alasan di balik peningkatan kinerja dari jaringan yang …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Sebuah zaman dalam penurunan gradien stokastik didefinisikan sebagai satu kali melewati data. Untuk setiap minibatch SGD, sampel diambil, gradien dihitung dan parameter diperbarui. Dalam pengaturan zaman, sampel diambil tanpa penggantian.kkk Tapi ini sepertinya tidak perlu. Mengapa tidak menggambar setiap minibid SGD sebagai penarikan acak dari seluruh kumpulan data di setiap …

69 neural-networks  deep-learning  gradient-descent 

Saya baru saja mendengar, bahwa itu adalah ide yang baik untuk memilih bobot awal dari jaringan saraf dari jangkauan (−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d}) , di mana ddd adalah jumlah input ke neuron yang diberikan. Diasumsikan, bahwa himpunan dinormalisasi - rata-rata 0, varian 1 (tidak tahu apakah ini penting). Mengapa …

68 neural-networks  normalization 

Jaringan saraf berulang berbeda dari yang "biasa" dengan fakta bahwa mereka memiliki lapisan "memori". Karena lapisan ini, NN berulang seharusnya berguna dalam pemodelan deret waktu. Namun, saya tidak yakin saya mengerti benar cara menggunakannya. Katakanlah saya memiliki deret waktu berikut (dari kiri ke kanan) :, [0, 1, 2, 3, 4, …

67 time-series  machine-learning  neural-networks 

Apakah ada pedoman umum tentang di mana menempatkan lapisan dropout di jaringan saraf?

65 neural-networks  dropout 

Saya melatih jaringan saraf untuk mengklasifikasikan satu set objek menjadi n-kelas. Setiap objek dapat menjadi milik beberapa kelas sekaligus (multi-class, multi-label). Saya membaca bahwa untuk masalah multi-kelas umumnya direkomendasikan untuk menggunakan softmax dan entropi lintas kategorikal sebagai fungsi kerugian alih-alih mse dan saya kurang lebih mengerti mengapa. Untuk masalah saya …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Seorang anak manusia pada usia 2 membutuhkan sekitar 5 instance mobil untuk dapat mengidentifikasinya dengan akurasi yang wajar terlepas dari warna, warna, dll. Ketika anak saya berusia 2 tahun, ia dapat mengidentifikasi trem dan kereta api, meskipun ia telah melihat hanya sedikit. Karena dia biasanya membingungkan satu sama lain, tampaknya …

64 neural-networks  neuroscience 

Saya mendapat kesan bahwa ketika orang mengacu pada jaringan 'keyakinan mendalam' bahwa ini pada dasarnya adalah jaringan saraf tetapi sangat besar. Apakah ini benar atau apakah jaringan kepercayaan yang mendalam juga menyiratkan bahwa algoritma itu sendiri berbeda (yaitu, tidak ada umpan balik neural net tetapi mungkin sesuatu dengan loop umpan …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Saya melihat bahwa banyak algoritma pembelajaran mesin bekerja lebih baik dengan pembatalan rata-rata dan penyamaan kovarian. Sebagai contoh, Neural Networks cenderung lebih cepat konvergen, dan K-Means umumnya memberikan pengelompokan yang lebih baik dengan fitur-fitur yang sudah diproses sebelumnya. Saya tidak melihat intuisi di balik langkah-langkah pra-pemrosesan ini mengarah pada peningkatan …

61 machine-learning  neural-networks  covariance  normalization 

Apa perbedaan antara umpan-maju dan jaringan saraf berulang ? Mengapa Anda menggunakan salah satunya? Apakah topologi jaringan lain ada?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Saya menemukan dua pertanyaan di sini dan di sini tentang masalah ini tetapi belum ada jawaban atau penjelasan yang jelas. Saya menegakkan masalah yang sama di mana kesalahan validasi kurang dari kesalahan pelatihan di Jaringan Neural Konvolusi saya. Apa artinya?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation 

Baik PCA dan autoencoder dapat melakukan pengurangan demensi, jadi apa perbedaan di antara mereka? Dalam situasi apa saya harus menggunakan satu sama lain?

56 machine-learning  pca  neural-networks  autoencoders 

Saya bertanya-tanya apakah ada perpustakaan R yang bagus di luar sana untuk mempelajari jaringan saraf yang dalam? Aku tahu ada yang nnet, neuralnetdan RSNNS, namun tidak satupun dari ini tampaknya menerapkan metode pembelajaran yang mendalam. Saya terutama tertarik pada yang tidak diawasi diikuti oleh pembelajaran yang diawasi, dan menggunakan dropout …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Adakah yang bisa menjelaskan apa itu global max pooling layer dan mengapa dan kapan kita menggunakannya untuk melatih jaringan saraf. Apakah mereka memiliki keuntungan lebih dari lapisan pooling max biasa?

55 neural-networks  conv-neural-network  pooling