Pertanyaan yang diberi tag «dropout»

Apakah ada pedoman umum tentang di mana menempatkan lapisan dropout di jaringan saraf?

65 neural-networks  dropout 

Saya membuat jaringan saraf convolutional (CNN), di mana saya memiliki lapisan convolutional diikuti oleh lapisan penyatuan dan saya ingin menerapkan dropout untuk mengurangi overfitting. Saya memiliki perasaan bahwa lapisan dropout harus diterapkan setelah lapisan penggabungan, tetapi saya tidak benar-benar memiliki apa pun untuk mendukungnya. Di mana tempat yang tepat untuk …

35 deep-learning  conv-neural-network  dropout 

Apa perbedaan antara dropout dan drop connect? AFAIK, dropout drop secara acak node tersembunyi selama pelatihan tetapi tetap mereka dalam pengujian, dan drop koneksi koneksi drop. Tetapi bukankah menjatuhkan koneksi sama dengan menjatuhkan node yang tersembunyi? Bukankah node (atau koneksi) hanya satu set bobot?

24 neural-networks  dropout 

Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau artikel) untuk menggunakan jaringan saraf sebagai pembelajar dasar.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Jika Anda memiliki setengah halaman untuk menjelaskan putus sekolah , bagaimana Anda akan melanjutkan? Yang merupakan alasan di balik teknik ini?

17 neural-networks  deep-learning  regularization  dropout 

Ini dengan merujuk pada kertas Pelokalan Objek Efisien Menggunakan Jaringan Konvolusional , dan dari apa yang saya pahami dropout diimplementasikan dalam 2D. Setelah membaca kode dari Keras tentang bagaimana Dropout 2D Spasial diimplementasikan, pada dasarnya bentuk biner acak [batch_size, 1, 1, num_channels] diimplementasikan. Namun, apa sebenarnya yang dilakukan Dropout 2D …

14 machine-learning  deep-learning  tensorflow  dropout 

Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi: l1 / l2 norma maks keluar berhenti lebih awal ... Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal? Misalnya, jika Anda menginginkan model yang jarang, …

9 neural-networks  regularization  dropout 

Ketika menerapkan dropout di jaringan saraf tiruan, kita perlu mengimbangi kenyataan bahwa pada waktu pelatihan sebagian neuron dinonaktifkan. Untuk melakukannya, ada dua strategi umum: scaling aktivasi pada waktu ujian membalikkan dropout selama fase pelatihan Dua strategi dirangkum dalam slide di bawah ini, diambil dari Standford CS231n: Convolutional Neural Networks for …

9 neural-networks  deep-learning  dropout 

Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0). Pertama-tama saya hanya menggunakan kelipatan valuasi aktual dan …

8 machine-learning  neural-networks  deep-learning  regularization  dropout