2
Cara memeriksa neuron relu mati
Latar Belakang: Ketika menyesuaikan jaringan saraf dengan aktivasi relu, saya menemukan bahwa kadang-kadang prediksi menjadi hampir konstan. Saya percaya bahwa ini adalah karena neuron relu mati selama pelatihan seperti yang dinyatakan di sini. ( Apa masalah "ReLU sekarat" dalam jaringan saraf? ) Pertanyaan: Apa yang ingin saya lakukan adalah mengimplementasikan …