Pertanyaan yang diberi tag «deep-learning»

Baru-baru ini, kami melihat kemunculan Residual Neural Net, di mana, setiap lapisan terdiri dari modul komputasi dan koneksi pintasan yang mempertahankan input ke lapisan seperti output dari pameran lapisan ke-i: Jaringan memungkinkan untuk mengekstraksi fitur residu dan memungkinkan untuk kedalaman yang lebih dalam sambil lebih kuat terhadap masalah gradien menghilang, …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Saya mengalami masalah dalam memahami model skip-gram dari algoritma Word2Vec. Dalam kata-kata kontinyu mudah untuk melihat bagaimana kata konteks dapat "cocok" di Neural Network, karena Anda pada dasarnya meratakannya setelah mengalikan masing-masing representasi pengodean satu-panas dengan matriks input W. Namun, dalam kasus lompatan-gram, Anda hanya mendapatkan vektor kata input dengan …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Misalkan saya ingin mempelajari classifier yang mengambil vektor angka sebagai input, dan memberikan label kelas sebagai output. Data pelatihan saya terdiri dari sejumlah besar pasangan input-output. Namun, ketika saya datang untuk menguji beberapa data baru, data ini biasanya hanya sebagian yang lengkap. Misalnya jika vektor input panjangnya 100, hanya 30 …

11 machine-learning  classification  neural-networks  deep-learning 

Saya berjuang untuk membuat koneksi matematis antara jaringan saraf dan model grafis. Dalam model grafis idenya sederhana: distribusi probabilitas memfaktorkan menurut klik dalam grafik, dengan potensi yang biasanya dari keluarga eksponensial. Apakah ada alasan yang setara untuk jaringan saraf? Bisakah seseorang mengungkapkan distribusi probabilitas atas unit (variabel) dalam mesin Boltzmann …

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

Saya tertarik pada Pembelajaran (Jauh) Penguatan (RL) . Sebelum menyelam ke bidang ini, haruskah saya mengambil kursus di Game Theory (GT) ? Bagaimana hubungan GT dan RL ?

11 deep-learning  reinforcement-learning  game-theory 

Bagaimana peta aktivasi pada lapisan tertentu terhubung ke filter untuk lapisan itu? Saya tidak bertanya tentang bagaimana melakukan operasi konvolusional antara filter dan peta aktivasi, saya bertanya tentang jenis konektivitas yang dimiliki keduanya. Misalnya, Anda ingin melakukan konektivitas penuh. Anda memiliki f jumlah filter dan n jumlah peta aktivasi di …

11 machine-learning  deep-learning  conv-neural-network 

Ketika menerapkan autoencoder dengan jaringan saraf, kebanyakan orang akan menggunakan sigmoid sebagai fungsi aktivasi. Bisakah kita menggunakan ReLU saja? (Karena ReLU tidak memiliki batas pada batas atas, pada dasarnya berarti gambar input dapat memiliki pixel lebih besar dari 1, tidak seperti kriteria terbatas untuk autoencoder ketika sigmoid digunakan).

11 machine-learning  neural-networks  deep-learning  autoencoders 

Saya menerapkan makalah yang cukup populer " MENJELAJAHI DAN MEMANTAU CONTOH ADVERSARIAL " dan di dalam makalah itu, ia melatih fungsi tujuan yang berlawanan. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ini memperlakukan α sebagai hyperparameter. α dapat 0,1, 0,2, 0,3, dll. Terlepas dari makalah …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

Saya ragu tentang bagaimana tepatnya fungsi kerugian dari Deep Q-Learning Network dilatih. Saya menggunakan jaringan feedforward 2 layer dengan lapisan output linear dan lapisan tersembunyi relu. Anggaplah saya memiliki 4 tindakan yang memungkinkan. Dengan demikian, output dari jaringan saya untuk keadaan saat ini adalah . Untuk membuatnya lebih konkret, mari …

11 least-squares  deep-learning  loss-functions  reinforcement-learning  q-learning 

Apa perbedaan antara Variational Bayes yang dikodekan secara otomatis dan Backpropagation Stochastic untuk Deep Generative Models ? Apakah kesimpulan dalam kedua metode menghasilkan hasil yang sama? Saya tidak mengetahui adanya perbandingan eksplisit antara kedua metode, meskipun demikian kedua kelompok penulis saling mengutip.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 …

10 deep-learning  loss-functions  rnn 

Dalam hal perbedaan antara jaringan saraf dan pembelajaran yang mendalam, kita dapat membuat daftar beberapa item, seperti lebih banyak lapisan yang disertakan, kumpulan data yang besar, perangkat keras komputer yang kuat untuk membuat model pelatihan yang rumit menjadi mungkin. Selain itu, apakah ada penjelasan lebih rinci mengenai perbedaan antara NN …

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

Apakah ada aturan praktis antara kedalaman jaringan saraf dan tingkat pembelajaran? Saya telah memperhatikan bahwa semakin dalam jaringannya, semakin rendah tingkat pembelajarannya. Jika itu benar, mengapa begitu?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

Apakah mungkin untuk melatih jaringan saraf untuk menggambar dengan gaya tertentu? (Jadi itu mengambil gambar dan menggambar ulang dengan gaya yang dilatihnya.) Apakah ada teknologi yang disetujui untuk hal semacam itu? Saya tahu tentang algoritma DeepArt. Adalah baik untuk mengisi gambar utama dengan pola tertentu (misalnya, gambar vangoghify), tetapi saya …

10 machine-learning  neural-networks  deep-learning 

Kapan seseorang ingin melakukan kliping gradien saat melatih RNN atau CNN? Saya terutama tertarik pada yang terakhir. Apa nilai awal yang baik untuk kliping? (Tentu saja bisa disetel)

10 deep-learning