Tampaknya standar dalam banyak paket jaringan saraf untuk memasangkan fungsi tujuan yang akan diminimalkan dengan fungsi aktivasi di lapisan output.
Sebagai contoh, untuk lapisan output linier yang digunakan untuk regresi adalah standar (dan seringkali hanya pilihan) untuk memiliki fungsi tujuan kesalahan kuadrat. Pasangan lain yang biasa adalah output logistik dan kehilangan log (atau cross-entropy). Dan yang lainnya adalah softmax dan multi-log loss.
Menggunakan notasi, untuk nilai pra-aktivasi (jumlah bobot kali aktivasi dari lapisan sebelumnya), a untuk aktivasi, y untuk kebenaran dasar yang digunakan untuk pelatihan, i untuk indeks neuron output.
Aktivasi linear berjalan dengan kuadrat galat 1
Aktivasi Sigmoid
Itulah yang saya tahu, dan saya berharap masih banyak yang belum saya dengar.
yang berada di luar rentang?
Namun, sepertinya tidak terlalu buruk untuk mencoba output sigmoid dengan tujuan kesalahan kuadrat. Itu harus stabil dan bertemu setidaknya.
tanh
Apakah ada situasi ketika merancang arsitektur jaringan saraf, bahwa Anda akan atau harus menggunakan pasangan "non-standar" aktivasi output dan fungsi tujuan?