Pertanyaan yang diberi tag «backpropagation»

Ketika menginisialisasi bobot koneksi dalam jaringan saraf feedforward, penting untuk menginisialisasi mereka secara acak untuk menghindari simetri yang tidak dapat dipecahkan oleh algoritma pembelajaran. Rekomendasi yang saya lihat di berbagai tempat (misalnya dalam tutorial MNIST TensorFlow ) adalah menggunakan distribusi normal terpotong menggunakan standar deviasi , di manaNadalah jumlah input …

13 neural-networks  backpropagation  weights  truncated-normal 

Saya memiliki pengetahuan dasar tentang bagaimana RNN (dan, khususnya, dengan unit LSTM) bekerja. Saya punya ide gambar arsitektur unit LSTM, yaitu sel dan beberapa gerbang, yang mengatur aliran nilai. Namun, tampaknya, saya belum sepenuhnya memahami bagaimana LSTM memecahkan masalah "gradien menghilang dan meledak", yang terjadi saat pelatihan, menggunakan back-propagation melalui …

13 neural-networks  lstm  rnn  backpropagation 

Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya bekerja dalam bahasa tingkat tinggi (sambil mengandalkan Rcpp(dan akhirnya GPU) untuk perkalian matriks padat), merobek semuanya dan …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Katakanlah saya menggunakan RNN / LSTM untuk melakukan analisis sentimen, yang merupakan pendekatan banyak-ke-satu (lihat blog ini ). Jaringan dilatih melalui backpropagation terpotong terpotong (BPTT), di mana jaringan dibuka untuk hanya 30 langkah terakhir seperti biasa. Dalam kasus saya, masing-masing bagian teks yang ingin saya klasifikasikan jauh lebih panjang daripada …

12 neural-networks  deep-learning  natural-language  backpropagation 

Jika kita memproses 10 contoh dalam satu batch, saya mengerti kita bisa menjumlahkan kerugian untuk setiap contoh, tetapi bagaimana cara backpropagation dalam hal memperbarui bobot untuk masing-masing contoh? Sebagai contoh: Contoh 1 -> kerugian = 2 Contoh 2 -> kerugian = -2 Ini menghasilkan kerugian rata-rata 0 (E = 0), …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Saat ini saya sedang mengerjakan perangkat lunak pengenal wajah yang menggunakan jaringan saraf konvolusi untuk mengenali wajah. Berdasarkan bacaan saya, saya telah mengumpulkan bahwa jaringan saraf convolutional telah berbagi bobot, sehingga menghemat waktu selama pelatihan. Tapi, bagaimana cara mengadaptasi backpropagation sehingga dapat digunakan dalam jaringan saraf konvolusi. Dalam backpropagation, seseorang …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Saya bertanya-tanya apakah mungkin untuk melatih SVM (katakanlah linear, untuk mempermudah) menggunakan backpropagation? Saat ini, aku di blok jalan, karena saya hanya bisa berpikir tentang menulis keluaran classifier ini sebagai f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Karenanya, ketika kita mencoba dan menghitung "backwards pass" (kesalahan yang diperbanyak) kita …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Saya mengerti bahwa pelatihan awal digunakan untuk menghindari beberapa masalah dengan pelatihan konvensional. Jika saya menggunakan backpropagation dengan, katakanlah autoencoder, saya tahu saya akan mengalami masalah waktu karena backpropagation lambat, dan saya juga bisa terjebak dalam optima lokal dan tidak mempelajari fitur-fitur tertentu. Apa yang saya tidak mengerti adalah bagaimana …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Dari video ini oleh Andrew Ng sekitar pukul 5:00 Bagaimana dan diturunkan? Bahkan, apa artinya ? didapat dengan membandingkan ke y, tidak ada perbandingan seperti itu untuk output dari lapisan tersembunyi, kan?δ3δ3\delta_3δ2δ2\delta_2δ3δ3\delta_3δ4δ4\delta_4

10 machine-learning  neural-networks  backpropagation 

Saya akan membahas masalah-masalah dalam tugas penugasan tertulis kelas pembelajaran mendalam di Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Saya mencoba memahami jawaban untuk 3a di mana mereka mencari turunan ke vektor untuk kata pusat. Asumsikan Anda diberikan vektor kata yang diprediksi sesuai dengan kata tengah c untuk skipgram, dan prediksi kata dibuat dengan …

9 self-study  neural-networks  backpropagation  word2vec 

Saya sudah mulai membaca tentang Jaringan Syaraf Berulang (RNNs) dan Memori Jangka Pendek (LSTM) ... (... oh, tidak cukup poin rep di sini untuk daftar referensi ...) Satu hal yang tidak saya dapatkan: Tampaknya selalu ada neuron di setiap instance dari lapisan tersembunyi yang "sepenuhnya terhubung" dengan setiap neuron pada …

8 machine-learning  neural-networks  backpropagation 

Saya menggunakan dua 3-layer feedforward multi-layer perceptrons (MLPs). Dengan data input yang sama (14 neuron input), saya melakukan satu klasifikasi (benar / salah), dan satu regresi (jika benar, "berapa banyak") ¹. Sampai sekarang, saya sudah malas menggunakan Matlabs patternnet dan fitnet , masing-masing. Lazily, karena saya belum meluangkan waktu untuk …

8 regression  machine-learning  backpropagation