Pertanyaan yang diberi tag «deep-learning»

Saya mempelajari Tutorial ini pada Variational Autoencoders oleh Carl Doersch . Di halaman kedua disebutkan: Salah satu kerangka kerja yang paling populer adalah Varienc Autoencoder [1, 3], subjek tutorial ini. Asumsi model ini lemah, dan pelatihan cepat melalui backpropagation. VAE memang membuat perkiraan, tetapi kesalahan yang diperkenalkan oleh perkiraan ini …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Saya melatih jaringan saraf menggunakan i) SGD dan ii) Adam Optimizer. Saat menggunakan SGD normal, saya mendapatkan loss pelatihan yang mulus vs kurva iterasi seperti terlihat di bawah ini (yang merah) Namun, ketika saya menggunakan Adam Optimizer, kurva kehilangan pelatihan memiliki beberapa lonjakan. Apa penjelasan dari paku-paku ini? Detail Model: …

15 neural-networks  deep-learning  adam 

Literatur pembelajaran yang mendalam penuh dengan trik pintar dengan menggunakan tingkat pembelajaran yang tidak konstan dalam gradient descent. Hal-hal seperti peluruhan eksponensial, RMSprop, Adagrad dll mudah untuk diimplementasikan dan tersedia di setiap paket pembelajaran yang mendalam, namun mereka tampaknya tidak ada di luar jaringan saraf. Apakah ada alasan untuk ini? …

14 machine-learning  deep-learning  optimization  gradient-descent 

Semua contoh yang saya temukan menggunakan keyakinan mendalam atau jaringan saraf convolutional menggunakannya untuk klasifikasi gambar, deteksi bakteri atau pengenalan suara. Apakah jaringan syaraf yang dalam juga berguna untuk tugas-tugas regresi klasik, di mana fitur-fiturnya tidak terstruktur (misalnya, tidak diatur dalam urutan atau kisi)? Jika ya, bisakah Anda memberi contoh?

14 regression  machine-learning  neural-networks  deep-learning 

Katakanlah saya sedang menulis sebuah algoritma untuk membangun 2-layer autoencoder dan 2-layer neural network. Apakah keduanya sama atau berbeda? Apa yang saya pahami adalah bahwa ketika saya membuat autoencoder bertumpuk, saya akan membangun lapis demi lapis. Untuk jaringan saraf, saya akan menginisialisasi semua parameter di netowork, dan kemudian untuk setiap …

14 neural-networks  deep-learning  autoencoders 

Jika saya memiliki jaringan saraf convolutional (CNN), yang memiliki sekitar 1.000.000 parameter, berapa banyak data pelatihan yang diperlukan (anggap saya sedang melakukan penurunan gradien stokastik)? Apakah ada aturan praktis? Catatan tambahan: Ketika saya melakukan penurunan gradien stokastik (mis., 64 tambalan untuk 1 iterasi), setelah ~ 10.000 iterasi, akurasi classifier dapat …

14 machine-learning  neural-networks  deep-learning  conv-neural-network 

Ini dengan merujuk pada kertas Pelokalan Objek Efisien Menggunakan Jaringan Konvolusional , dan dari apa yang saya pahami dropout diimplementasikan dalam 2D. Setelah membaca kode dari Keras tentang bagaimana Dropout 2D Spasial diimplementasikan, pada dasarnya bentuk biner acak [batch_size, 1, 1, num_channels] diimplementasikan. Namun, apa sebenarnya yang dilakukan Dropout 2D …

14 machine-learning  deep-learning  tensorflow  dropout 

Khususnya dalam konteks kompetisi kaggle saya perhatikan bahwa kinerja model adalah semua tentang pemilihan fitur / teknik. Sementara saya dapat sepenuhnya memahami mengapa hal ini terjadi ketika berhadapan dengan algoritma ML yang lebih konvensional / jadul, saya tidak melihat mengapa ini akan menjadi kasus ketika menggunakan jaringan saraf yang dalam. …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Bagaimana layer embedding dilatih pada layer Keras Embedding? (katakanlah menggunakan tensorflow backend, artinya mirip dengan word2vec, glove atau fasttext) Anggaplah kita tidak menggunakan penyematan pretrained.

14 deep-learning  keras  word-embeddings 

Apa itu Bayesian Deep Learning dan bagaimana hubungannya dengan statistik Bayesian tradisional dan Deep Learning tradisional? Apa konsep dan matematika utama yang terlibat? Bisakah saya mengatakan itu hanya statistik bayesian non parametrik? Apa karya seminalnya serta perkembangan dan aplikasi utamanya saat ini? PS: Bayesian Deep Learning mendapat banyak perhatian, lihat …

13 bayesian  deep-learning 

Dalam makalah DeepMind tahun 2015 tentang pembelajaran penguatan dalam, ia menyatakan bahwa "Upaya sebelumnya untuk menggabungkan RL dengan jaringan saraf sebagian besar gagal karena pembelajaran yang tidak stabil". Makalah ini kemudian mencantumkan beberapa penyebabnya, berdasarkan korelasi antar pengamatan. Tolong bisakah seseorang menjelaskan apa artinya ini? Apakah itu bentuk overfitting, di …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Saya telah membaca beberapa makalah tentang membuat gambar secara manual untuk "mengelabui" jaringan saraf (lihat di bawah). Apakah ini karena jaringan hanya memodelkan probabilitas bersyarat ? Jika jaringan dapat memodelkan probabilitas gabungan , akankah kasus seperti itu masih terjadi?p ( y| x)hal(y|x)p(y|x)p ( y, x )hal(y,x)p(y,x) Dugaan saya adalah gambar …

13 machine-learning  neural-networks  deep-learning 

Saya ingin tahu apa itu, dan apa bedanya dengan ensembling? Misalkan, saya ingin mencapai akurasi tinggi dalam klasifikasi dan segmentasi, untuk tugas tertentu, jika saya menggunakan jaringan yang berbeda, seperti CNN, RNN, dll untuk mencapai ini, apakah ini disebut model ujung ke ujung? (arsitektur?) atau tidak?

13 machine-learning  terminology  deep-learning 

Latar belakang: Saya baru-baru ini memahami pada tingkat yang lebih dalam pentingnya augmentasi data ketika melatih jaringan saraf convolutional setelah melihat pembicaraan luar biasa ini oleh Geoffrey Hinton . Dia menjelaskan bahwa jaringan saraf convolutional generasi saat ini tidak dapat menggeneralisasi kerangka referensi dari objek yang diuji, membuatnya sulit bagi …

13 machine-learning  deep-learning 

Saya memodelkan 15.000 tweet untuk prediksi sentimen menggunakan LSTM lapisan tunggal dengan 128 unit tersembunyi menggunakan representasi seperti word2vec dengan 80 dimensi. Saya mendapatkan akurasi keturunan (38% dengan acak = 20%) setelah 1 zaman. Lebih banyak pelatihan membuat akurasi validasi mulai menurun ketika akurasi pelatihan mulai naik - tanda yang …

13 deep-learning  regularization  overfitting  lstm