Apa itu "backprop"?

Apa yang dimaksud dengan "backprop"? Apakah istilah "backprop" pada dasarnya sama dengan "backpropagation" atau apakah ia memiliki arti yang berbeda?

"Backprop" sama dengan "backpropagation": itu hanya cara yang lebih singkat untuk mengatakannya. Kadang-kadang disingkat "BP".

'Backprop' adalah kependekan dari 'backpropagation of error' untuk menghindari kebingungan saat menggunakan istilah backpropagation .

Pada dasarnya backpropagation mengacu pada metode untuk menghitung gradien dari fungsi kesalahan case-wise sehubungan dengan bobot untuk ^Werbos feedforward network . Dan backprop mengacu pada metode pelatihan yang menggunakan backpropagation untuk menghitung gradien.

Jadi kita dapat mengatakan bahwa jaringan backprop adalah jaringan feedforward yang dilatih oleh backpropagation .

Istilah 'backprop standar' adalah eufemisme untuk aturan delta umum yang paling banyak digunakan metode pelatihan yang diawasi.

Sumber: Apa itu backprop? di FAQ newsgroup Usenet comp.ai.neural-nets

Referensi:

• Werbos, PJ (1974). Melampaui Regresi: Alat Baru untuk Prediksi dan Analisis dalam Ilmu Perilaku. Tesis PhD, Universitas Harvard.
• Werbos, PJ (1994). Akar Backpropagation: Dari Derivatif yang Dipesan ke Jaringan Syaraf Tiruan dan Peramalan Politik, Wiley Interscience.
• Bertsekas, DP (1995), Pemrograman Nonlinear, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP dan Tsitsiklis, JN (1996), Pemrograman Neuro-Dynamic, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Beberapa metode mempercepat konvergensi metode iterasi," Z. Vycisl. Tikar. saya di. Fiz., 4, 1-17.
• Polyak, BT (1987), Pengantar Optimasi, NY: Optimasi Software, Inc.
• Reed, RD, dan Marks, RJ, II (1999), Neural Smithing: Pembelajaran dengan Supervisi dalam Jaringan Syaraf Tiruan Feedforward, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE, dan Williams, RJ (1986), "Belajar representasi internal dengan propagasi kesalahan", dalam Rumelhart, DE dan McClelland, JL, eds. (1986), Pemrosesan Terdistribusi Paralel: Eksplorasi dalam Mikrostruktur Kognisi, Volume 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Termasuk Werbos's 1974 Harvard Ph.D. tesis, Melampaui Regresi.

Ya, seperti yang dikatakan oleh Franck, "backprop" berarti backpropogation, yang sering digunakan dalam domain jaringan saraf untuk optimasi kesalahan.

Untuk penjelasan terperinci, saya akan menunjukkan tutorial ini tentang konsep backpropogation oleh buku Michael Nielsen yang sangat bagus.

Dalam pembelajaran mesin, backpropagation (backprop, BP) adalah algoritma yang banyak digunakan dalam pelatihan jaringan saraf feedforward untuk pembelajaran yang diawasi. Generalisasi backpropagation ada untuk jaringan saraf tiruan lainnya (JST), dan untuk fungsi umumnya - kelas algoritma yang secara umum disebut "backpropagation".

Itu nama mewah untuk aturan rantai multivariabel.