Saya mulai belajar tentang jaringan saraf dengan tutorial neuralnetworksanddeeplearning dot com. Khususnya di bab ke - 3 ada bagian tentang fungsi cross entropy, dan mendefinisikan cross entropy loss sebagai:
Namun, membaca pengantar Tensorflow , cross entropy loss didefinisikan sebagai:
(saat menggunakan simbol yang sama seperti di atas)
Kemudian mencari di sekitar untuk menemukan apa yang terjadi, saya menemukan satu set catatan: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) yang menggunakan definisi yang sama sekali berbeda dari kehilangan entropi silang, meskipun ini waktu untuk pengklasifikasi softmax daripada untuk jaringan saraf.
Dapatkah seseorang menjelaskan kepada saya apa yang sedang terjadi di sini? Mengapa ada perbedaan btw. apa yang orang mendefinisikan kerugian lintas-entropi sebagai? Apakah hanya ada beberapa prinsip menyeluruh?