Pertanyaan yang diberi tag «backpropagation»

Banyak buku dan tutorial jaringan saraf menghabiskan banyak waktu pada algoritma backpropagation, yang pada dasarnya adalah alat untuk menghitung gradien. Mari kita asumsikan kita sedang membangun model dengan ~ 10K parameter / bobot. Apakah mungkin untuk menjalankan pengoptimalan menggunakan beberapa algoritma pengoptimalan bebas gradien? Saya pikir menghitung gradien numerik akan …

94 machine-learning  neural-networks  optimization  backpropagation 

Saya mengerti bahwa penurunan gradien stokastik dapat digunakan untuk mengoptimalkan jaringan saraf menggunakan backpropagation dengan memperbarui setiap iterasi dengan sampel yang berbeda dari dataset pelatihan. Seberapa besar ukuran batch?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Secara khusus, saya kira saya bertanya-tanya tentang pernyataan ini: Versi utama masa depan TensorFlow akan memungkinkan gradien mengalir ke input label pada backprop secara default. Yang ditampilkan saat saya gunakan tf.nn.softmax_cross_entropy_with_logits. Dalam pesan yang sama ia mendesak saya untuk melihatnya tf.nn.softmax_cross_entropy_with_logits_v2. Saya melihat melalui dokumentasi tetapi hanya menyatakan bahwa untuk …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Saya mencoba memahami bagaimana backpropagation bekerja untuk lapisan output softmax / cross-entropy. Fungsi kesalahan lintas entropi adalah E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j dengan ttt dan ooo sebagai target dan output pada neuron jjj , masing-masing. Jumlahnya adalah di atas setiap neuron di lapisan output. ojojo_j itu sendiri merupakan hasil dari fungsi …

40 backpropagation  derivative  softmax  cross-entropy 

Saya telah membaca beberapa makalah yang membahas pro dan kontra dari masing-masing metode, beberapa berpendapat bahwa GA tidak memberikan perbaikan dalam menemukan solusi optimal sementara yang lain menunjukkan bahwa itu lebih efektif. Tampaknya GA umumnya lebih disukai dalam literatur (walaupun kebanyakan orang memodifikasinya dengan cara tertentu untuk mencapai hasil yang …

34 neural-networks  genetic-algorithms  backpropagation 

Dalam kursus Neural Networks dan Deep Learning Andrew Ng di Coursera ia mengatakan bahwa menggunakan tanhtanhtanh hampir selalu lebih disukai daripada menggunakan sigmoidsigmoidsigmoid . Alasan yang dia berikan adalah bahwa output menggunakan tanhtanhtanh pusat sekitar 0 daripada sigmoidsigmoidsigmoid 's 0,5, dan ini "membuat belajar untuk lapisan berikutnya sedikit lebih mudah". …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Mengapa berbahaya untuk menginisialisasi bobot dengan nol? Apakah ada contoh sederhana yang menunjukkannya?

30 neural-networks  backpropagation 

Saya baca di sini sebagai berikut: Output Sigmoid tidak berpusat nol . Ini tidak diinginkan karena neuron dalam lapisan pemrosesan berikutnya dalam Jaringan Saraf Tiruan (lebih lanjut tentang ini segera) akan menerima data yang tidak berpusat nol. Ini memiliki implikasi pada dinamika selama gradient descent, karena jika data yang masuk …

26 neural-networks  deep-learning  backpropagation 

Saya ingin tahu tentang bagaimana gradien diperbanyak kembali melalui jaringan saraf menggunakan modul ResNet / lewati koneksi. Saya telah melihat beberapa pertanyaan tentang ResNet (mis. Jaringan saraf dengan koneksi lompatan-lapisan ) tetapi yang satu ini menanyakan secara khusus tentang back-propagation of gradien selama pelatihan. Arsitektur dasarnya ada di sini: Saya …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Saat melatih jaringan saraf menggunakan algoritma back-propagation, metode gradient descent digunakan untuk menentukan pembaruan bobot. Pertanyaan saya adalah: Daripada menggunakan metode gradient descent untuk secara perlahan menemukan titik minimum sehubungan dengan bobot tertentu, mengapa kita tidak mengatur turunan , dan temukan nilai bobot yang meminimalkan kesalahan?wd( Kesalahan )dw= 0d(Kesalahan)dw=0\frac{d(\text{Error})}{dw}=0www Juga, …

22 neural-networks  gradient-descent  backpropagation 

Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut, dll., Yang dikembangkan untuk menghindari terjebak dalam minima lokal.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Mengapa backpropagation tidak berfungsi saat Anda menginisialisasi semua bobot dengan nilai yang sama (katakanlah 0,5), tetapi berfungsi dengan baik ketika diberi angka acak? Bukankah seharusnya algoritma menghitung kesalahan dan bekerja dari sana, meskipun faktanya bobot awalnya sama?

20 machine-learning  neural-networks  backpropagation 

Saya mendapat sedikit kebingungan pada algoritma backpropagation yang digunakan dalam multilayer perceptron (MLP). Kesalahan disesuaikan dengan fungsi biaya. Dalam backpropagation, kami mencoba untuk menyesuaikan berat lapisan yang tersembunyi. Kesalahan keluaran yang bisa saya mengerti, yaitu, e = d - y[Tanpa subskrip]. Pertanyaannya adalah: Bagaimana cara mendapatkan kesalahan dari lapisan tersembunyi? …

19 machine-learning  neural-networks  backpropagation 

Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang berisik dan dengan demikian dapat diikuti lebih cepat. …

15 neural-networks  gradient-descent  backpropagation 

Dalam jaringan saraf berulang, Anda biasanya akan maju merambat melalui beberapa langkah waktu, "membuka gulungan" jaringan, dan kemudian kembali merambat melintasi urutan input. Mengapa Anda tidak hanya memperbarui bobot setelah masing-masing langkah dalam urutan? (setara dengan menggunakan panjang pemotongan 1, sehingga tidak ada yang membuka gulungan) Ini benar-benar menghilangkan masalah …

14 time-series  neural-networks  backpropagation  rnn