Pertanyaan yang diberi tag «deep-learning»

Apa keuntungannya, mengapa seseorang menggunakan banyak LSTM, ditumpuk satu demi satu, dalam jaringan yang dalam? Saya menggunakan LSTM untuk mewakili urutan input sebagai input tunggal. Jadi, begitu saya memiliki representasi tunggal itu — mengapa saya harus melewatinya lagi? Saya bertanya ini karena saya melihat ini dalam program generasi bahasa alami.

25 classification  neural-networks  deep-learning  lstm  rnn 

Mengapa fungsi aktivasi unit linear yang diperbaiki (ReLU) dianggap non-linear? f( x ) = maks ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Mereka linier ketika input positif dan dari pemahaman saya untuk membuka kekuatan representatif dari jaringan yang dalam, aktivasi non-linear adalah suatu keharusan, jika tidak seluruh jaringan dapat …

25 neural-networks  deep-learning 

Sebagai per ini dan jawaban ini , autoencoder tampaknya menjadi teknik yang menggunakan jaringan saraf untuk pengurangan dimensi. Saya ingin juga tahu apa adalah variational autoencoder (perbedaan utama / manfaat lebih dari satu "tradisional" autoencoders) dan juga apa yang tugas belajar utama algoritma ini digunakan untuk.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning karya Bengio, Goodfellow dan Courville: Adam umumnya dianggap cukup kuat untuk memilih parameter hiper, meskipun tingkat pembelajaran kadang-kadang perlu diubah dari standar yang disarankan. jika ini benar, ini adalah masalah besar karena pencarian …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Dalam Alex Krizhevsky, et al. Klasifikasi imagenet dengan jaringan saraf convolutional yang mendalam mereka menyebutkan jumlah neuron di setiap lapisan (lihat diagram di bawah). Input jaringan adalah 150.528-dimensi, dan jumlah neuron dalam lapisan jaringan yang tersisa diberikan oleh 253.440–186.624–64.889–64.889–43.264–4096–4096–1000. Tampilan 3D Jumlah neuron untuk semua lapisan setelah yang pertama jelas. …

24 neural-networks  deep-learning  conv-neural-network 

Saya mencoba untuk lebih memahami jaringan saraf convolutional dengan menulis kode Python yang tidak bergantung pada perpustakaan (seperti Convnet atau TensorFlow), dan saya terjebak dalam literatur tentang bagaimana memilih nilai untuk matriks kernel, ketika melakukan lilitan pada suatu gambar. Saya mencoba memahami detail implementasi pada langkah antara fitur peta pada …

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

Jadi saya mencoba melakukan pretraining pada gambar manusia menggunakan jaring konvolusional. Saya membaca makalah ( Paper1 dan Paper2 ) dan tautan stackoverflow ini , tapi saya tidak yakin saya mengerti struktur jaring (tidak didefinisikan dengan baik di koran). Pertanyaan: Saya dapat meminta input saya diikuti oleh layer noise diikuti oleh …

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

Mekanisme perhatian telah digunakan dalam berbagai makalah Deep Learning dalam beberapa tahun terakhir. Ilya Sutskever, kepala penelitian di Open AI, dengan antusias memuji mereka: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello di Purdue University telah mengklaim bahwa RNN dan LSTM harus ditinggalkan demi jaringan saraf murni berdasarkan perhatian: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Ini tampaknya berlebihan, tetapi tidak …

23 time-series  deep-learning  lstm  rnn  attention 

Apakah ada makalah yang bagus yang membahas beberapa cara metodis dalam memilih dimensi untuk filter, menyatukan unit, dan menentukan jumlah lapisan konvolusional?

22 neural-networks  deep-learning  conv-neural-network 

Saya mendengarkan ceramah dan melihat slide ini: Seberapa benar itu?

22 deep-learning  deep-belief-networks 

Saya sadar bahwa ada banyak kemajuan berkaitan dengan pengenalan gambar, klasifikasi gambar, dll dengan jaring saraf convolutional yang mendalam. Tetapi jika saya melatih jaring, katakanlah, gambar PNG, apakah hanya akan berfungsi untuk gambar yang disandikan? Apa properti gambar lain yang memengaruhi ini? (saluran alfa, interlacing, resolusi, dll?)

22 neural-networks  deep-learning  image-processing 

Saya telah bekerja dengan Convolutional Neural Networks (CNNs) untuk beberapa waktu sekarang, sebagian besar pada data gambar untuk segmentasi semantik / contoh segmentasi. Saya sering memvisualisasikan softmax dari output jaringan sebagai "peta panas" untuk melihat seberapa tinggi per pixel aktivasi untuk kelas tertentu. Saya telah menafsirkan aktivasi rendah sebagai prediksi …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Latar Belakang: Ya, Mesin Boltzmann Terbatas (RBM) DAPAT digunakan untuk memulai bobot jaringan saraf. Juga BISA digunakan dalam cara "lapis demi lapis" untuk membangun jaringan kepercayaan yang mendalam (yaitu, untuk melatih lapisan ke- di atas lapisan , dan kemudian untuk melatih layer ke- di atas layer ke- , bilas dan …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau artikel) untuk menggunakan jaringan saraf sebagai pembelajar dasar.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Kami mendefinisikan arsitektur bottleneck sebagai jenis yang ditemukan dalam kertas ResNet di mana [dua lapisan 3x3 konv] diganti oleh [satu konv 1x1, satu konv 3x3, dan lapisan konv 1x1 lainnya]. Saya mengerti bahwa lapisan konv 1x1 digunakan sebagai bentuk pengurangan dimensi (dan restorasi), yang dijelaskan dalam posting lain . Namun, …

21 residuals  deep-learning  conv-neural-network