Saya mulai dengan pembelajaran yang mendalam, dan saya memiliki pertanyaan yang jawabannya tidak dapat saya temukan, mungkin saya belum mencari dengan benar. Saya telah melihat jawaban ini , tetapi masih belum jelas apa penurunan berat badan dan bagaimana hubungannya dengan fungsi penurunan.
Jawaban:
Bobot pembusukan menentukan regularisasi dalam jaringan saraf.
Selama pelatihan, istilah regularisasi ditambahkan pada kehilangan jaringan untuk menghitung gradien backpropagation. The weight decaynilai menentukan seberapa dominan jangka regularisasi ini akan berada di perhitungan gradien.
Sebagai aturan praktis, semakin banyak contoh pelatihan yang Anda miliki, semakin lemah istilah ini seharusnya. Semakin banyak parameter yang Anda miliki semakin tinggi istilah ini seharusnya.
Jadi, pembusukan berat badan adalah istilah regularisasi yang menghukum bobot besar. Ketika koefisien pembusukan berat besar, hukuman untuk bobot besar juga besar, ketika bobot kecil dapat tumbuh dengan bebas.
Jadi, sekarang jika Anda kembali membaca jawaban yang Anda tautkan dalam pertanyaan Anda, itu akan masuk akal sekarang.