Pertanyaan yang diberi tag «deep-learning»

Saya menggunakan jaringan lstm dan umpan-maju untuk mengklasifikasikan teks. Saya mengonversi teks menjadi vektor satu-panas dan mengumpankan masing-masing ke dalam lstm sehingga saya dapat meringkasnya sebagai satu representasi. Lalu saya memberinya makan ke jaringan lain. Tapi bagaimana cara melatih lstm? Saya hanya ingin urutan mengklasifikasikan teks - haruskah saya memberinya …

13 classification  neural-networks  deep-learning  lstm 

Saya sedang membaca Buku Yoshua Bengio tentang pembelajaran mendalam dan dikatakan di halaman 224: Jaringan konvolusional hanyalah jaringan saraf yang menggunakan konvolusi sebagai pengganti perkalian matriks umum dalam setidaknya satu lapisannya. Namun, saya tidak 100% yakin bagaimana "mengganti perkalian matriks dengan konvolusi" dalam arti yang tepat secara matematis. Yang benar-benar …

13 machine-learning  neural-networks  deep-learning  convolution 

Baru-baru ini saya telah membaca makalah oleh Yann Dauphin et al. Mengidentifikasi dan menyerang masalah saddle point dalam optimasi non-cembung dimensi tinggi , di mana mereka memperkenalkan algoritma keturunan yang menarik yang disebut Saddle-Free Newton , yang tampaknya dirancang khusus untuk optimalisasi jaringan saraf dan tidak boleh menderita macet di …

13 optimization  deep-learning  gradient-descent 

Apakah ada kelompok penelitian yang berupaya menggunakan pembelajaran yang mendalam untuk masalah optimisasi kombinatorial?

13 optimization  deep-learning 

Apakah ada literatur yang meneliti pilihan ukuran minibatch saat melakukan stochastic gradient descent? Dalam pengalaman saya, ini tampaknya menjadi pilihan empiris, biasanya ditemukan melalui validasi silang atau menggunakan berbagai aturan praktis. Apakah ide yang baik untuk secara perlahan meningkatkan ukuran minibatch saat kesalahan validasi berkurang? Apa efek ini pada kesalahan …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Topologi model Google Inception dapat ditemukan di sini: Google Inception Netowrk Saya perhatikan ada 3 lapisan softmax dalam model ini (# 154, # 152, # 145), dan 2 di antaranya adalah semacam pelarian awal model ini. Dari yang saya tahu, lapisan softmax adalah untuk hasil akhir, jadi mengapa ada begitu …

13 deep-learning  conv-neural-network 

Apakah mungkin untuk memiliki bobot negatif (setelah zaman yang cukup) untuk jaringan saraf convolutional yang mendalam ketika kita menggunakan ReLU untuk semua lapisan aktivasi?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 10 bulan lalu . Saya tahu ada banyak perpustakaan untuk pembelajaran mesin dan pembelajaran mendalam seperti caffe, Theano, TensorFlow, keras, ... Tetapi bagi saya sepertinya …

13 neural-networks  deep-learning  conv-neural-network 

Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya bekerja dalam bahasa tingkat tinggi (sambil mengandalkan Rcpp(dan akhirnya GPU) untuk perkalian matriks padat), merobek semuanya dan …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Kemajuan baru-baru ini dalam jaringan saraf dirangkum oleh urutan arsitektur novel yang ditandai terutama dengan kompleksitas desain yang berkembang. Dari LeNet5 (1994) hingga AlexNet (2012), hingga Overfeat (2013) dan GoogleLeNet / Inception (2014) dan seterusnya ... Apakah ada upaya untuk membiarkan mesin memutuskan / mendesain arsitektur yang akan digunakan tergantung …

12 neural-networks  deep-learning 

Orang luar ke bidang ML / DL; memulai kursus Belajar Udacity Deep yang didasarkan pada Tensorflow; melakukan penugasan 3 masalah 4; mencoba menyesuaikan tingkat belajar dengan konfigurasi berikut: Ukuran batch 128 Jumlah langkah: cukup untuk mengisi 2 zaman Ukuran lapisan tersembunyi: 1024, 305, 75 Inisialisasi berat: terpotong normal dengan std. …

12 python  machine-learning  tensorflow  deep-learning 

Katakanlah saya menggunakan RNN / LSTM untuk melakukan analisis sentimen, yang merupakan pendekatan banyak-ke-satu (lihat blog ini ). Jaringan dilatih melalui backpropagation terpotong terpotong (BPTT), di mana jaringan dibuka untuk hanya 30 langkah terakhir seperti biasa. Dalam kasus saya, masing-masing bagian teks yang ingin saya klasifikasikan jauh lebih panjang daripada …

12 neural-networks  deep-learning  natural-language  backpropagation 

Dalam buku Deep Learning Ian Goodfellow , tertulis itu Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat dilakukan (eksponensial dalam dimensi input), bahkan untuk pengklasifikasi linier. Dalam situasi seperti …

12 neural-networks  deep-learning  loss-functions 

Latar Belakang: Saya sedang mempelajari Bab 6 Pembelajaran Jauh oleh Ian Goodfellow dan Yoshua Bengio dan Aaron Courville. Pada bagian 6.2.2.2 (halaman 182 dari 183 yang dapat dilihat di sini ) penggunaan sigmoid untuk output termotivasi.P( y= 1 | x )P(y=1|x)P(y=1|x) Untuk meringkas beberapa materi yang mereka biarkan menjadi neuron …

12 neural-networks  deep-learning 

Saya menyiapkan pencarian grid untuk sekelompok params. Saya mencoba mencari parameter terbaik untuk jaring neural Keras yang melakukan klasifikasi biner. Outputnya adalah 1 atau 0. Ada sekitar 200 fitur. Ketika saya melakukan pencarian kotak, saya mendapat banyak model dan parameternya. Model terbaik memiliki parameter ini: Epochs : 20 Batch Size …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano