Pertanyaan yang diberi tag «deep-learning»

Mengacu pada catatan kursus Stanford tentang Jaringan Syaraf Konvolusional untuk Pengenalan Visual , sebuah paragraf mengatakan: "Sayangnya, unit ReLU bisa rapuh selama pelatihan dan bisa" mati ". Misalnya, gradien besar yang mengalir melalui neuron ReLU dapat menyebabkan bobot diperbarui sedemikian rupa sehingga neuron tidak akan pernah diaktifkan pada titik data …

119 machine-learning  neural-network  deep-learning 

Perbedaan utama antara GRU dan LSTM adalah bahwa GRU memiliki dua gerbang ( reset dan memperbarui gerbang) sedangkan LSTM memiliki tiga gerbang (yaitu input , output dan gerbang lupa ). Mengapa kita menggunakan GRU ketika kita jelas memiliki lebih banyak kontrol pada jaringan melalui model LSTM (karena kita memiliki tiga …

95 neural-network  deep-learning 

Saat ini saya sedang mengerjakan implementasi Stochastic Gradient Descent,, SGDuntuk jaring saraf menggunakan back-propagation, dan sementara saya mengerti tujuannya, saya punya beberapa pertanyaan tentang bagaimana memilih nilai untuk tingkat pembelajaran. Apakah tingkat pembelajaran terkait dengan bentuk gradien kesalahan, karena menentukan tingkat keturunan? Jika demikian, bagaimana Anda menggunakan informasi ini untuk …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Ketika menulis makalah / membuat presentasi tentang topik yang membahas tentang jaringan saraf, orang biasanya memvisualisasikan arsitektur jaringan. Apa cara yang baik / sederhana untuk memvisualisasikan arsitektur umum secara otomatis?

80 machine-learning  neural-network  deep-learning  visualization 

Saya telah membangun model saya. Sekarang saya ingin menggambar diagram arsitektur jaringan untuk makalah penelitian saya. Contoh ditunjukkan di bawah ini:

78 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Masalah yang saya hadapi adalah memprediksi nilai deret waktu. Saya melihat satu seri waktu pada satu waktu dan berdasarkan misalnya 15% dari data input, saya ingin memprediksi nilai-nilai masa depannya. Sejauh ini saya telah menemukan dua model: LSTM (memori jangka pendek; kelas jaringan saraf berulang) ARIMA Saya sudah mencoba keduanya …

64 time-series  deep-learning  rnn  prediction 

Saya tahu bahwa Residual Network (ResNet) membuatnya inisialisasi normal menjadi populer. Dalam ResNet, inisialisasi normal He digunakan , sedangkan lapisan pertama menggunakan inisialisasi seragam He. Saya telah melihat melalui kertas ResNet dan kertas "Delving Deep into Rectifiers" (Dia menginisialisasi kertas), tetapi saya belum menemukan penyebutan pada init normal vs seragam …

51 neural-network  deep-learning  normalization 

Ketika saya mulai dengan jaringan saraf tiruan (NN) saya pikir saya harus berjuang overfitting sebagai masalah utama. Tetapi dalam prakteknya saya bahkan tidak bisa mendapatkan NN saya untuk melewati penghalang tingkat kesalahan 20%. Saya bahkan tidak bisa mengalahkan skor saya di hutan acak! Saya mencari saran yang sangat umum atau …

50 neural-network  deep-learning 

Berapa banyak parameter yang dimiliki oleh satu LSTM bertumpuk? Jumlah parameter memaksakan batas bawah pada jumlah contoh pelatihan yang diperlukan dan juga mempengaruhi waktu pelatihan. Karenanya mengetahui jumlah parameter berguna untuk model pelatihan menggunakan LSTM.

43 deep-learning  rnn 

telah membaca sedikit tentang LSTM dan penggunaannya untuk seri waktu dan itu menarik tetapi sulit pada saat yang sama. Satu hal yang saya punya kesulitan dalam memahami adalah pendekatan untuk menambahkan fitur tambahan pada apa yang sudah menjadi daftar fitur deret waktu. Dengan asumsi Anda memiliki dataset Anda seperti ini: …

43 machine-learning  neural-network  deep-learning  time-series 

Saya sering membaca bahwa dalam kasus model Deep Learning, praktik yang biasa dilakukan adalah menerapkan batch mini (umumnya yang kecil, 32/64) pada beberapa periode pelatihan. Saya tidak dapat memahami alasan di balik ini. Kecuali saya salah, ukuran bets adalah jumlah instance pelatihan yang dilihat oleh model selama iterasi pelatihan; dan …

40 machine-learning  deep-learning 

Saya akan melatih jaringan LSTM besar dengan 2-3 juta artikel dan saya berjuang dengan Kesalahan Memori (saya menggunakan AWS EC2 g2x2large). Saya menemukan bahwa salah satu solusinya adalah dengan mengurangi batch_size. Namun, saya tidak yakin apakah parameter ini hanya terkait dengan masalah efisiensi memori atau apakah akan mempengaruhi hasil saya. …

38 deep-learning  keras 

Saya mengalami kesulitan memahami perbedaan antara equivariant ke terjemahan dan invariant to translation . Dalam buku Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville, dan Y. Bengio), dapat ditemukan di jaringan konvolusional: [...] bentuk tertentu dari berbagi parameter menyebabkan layer memiliki properti yang disebut equivariance to translation [...] …

38 neural-network  deep-learning  convolution 

Sudah menjadi kebiasaan bagi pengguna komunitas yang berbeda untuk mengutip hal-hal lucu tentang bidang mereka. Mungkin menyenangkan untuk membagikan hal-hal lucu Anda tentang Pembelajaran Mesin, Pembelajaran Dalam, Ilmu Data, dan hal-hal yang Anda hadapi setiap hari!

35 machine-learning  neural-network  deep-learning 

Misalkan saya membuat NN untuk klasifikasi. Lapisan terakhir adalah lapisan padat dengan aktivasi softmax. Saya memiliki lima kelas yang berbeda untuk diklasifikasi. Misalkan untuk contoh pelatihan tunggal, true labeladalah [1 0 0 0 0]saat prediksi [0.1 0.5 0.1 0.1 0.2]. Bagaimana saya menghitung kerugian lintas entropi untuk contoh ini?

35 machine-learning  deep-learning