Banyak fungsi aktivasi dalam jaringan saraf (sigmoid, tanh, softmax) bersifat monoton, kontinu dan dapat dibedakan (kecuali mungkin beberapa titik, di mana turunannya tidak ada).
Saya mengerti alasan untuk kontinuitas dan dapat dibedakan, tetapi tidak dapat benar-benar memahami alasan untuk monoton.
Jawaban:
Selama fase pelatihan, backpropagation memberi tahu masing-masing neuron seberapa besar hal itu memengaruhi setiap neuron pada lapisan berikutnya. Jika fungsi aktivasi tidak monotonik maka peningkatan berat neuron mungkin menyebabkannya memiliki pengaruh yang lebih sedikit, kebalikan dari apa yang dimaksudkan. Hasilnya akan menjadi perilaku pilihan selama pelatihan, dengan jaringan tidak mungkin untuk menyatu dengan keadaan yang menghasilkan pengklasifikasi yang akurat.