Pertanyaan yang diberi tag «relu»

Ada beberapa fungsi aktivasi, seperti ReLU, sigmoid atau tanhtanh\tanh . Apa yang terjadi ketika saya mencampur fungsi aktivasi? Baru-baru ini saya menemukan bahwa Google telah mengembangkan fungsi aktivasi Swish yang (x * sigmoid). Dengan mengubah fungsi aktivasi, bisakah ia meningkatkan akurasi pada masalah jaringan saraf kecil seperti masalah XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Saya berpikir bahwa keuntungan menggunakan Leaky ReLU daripada ReLU adalah bahwa dengan cara ini kita tidak bisa menghilangkan gradien. Parametrik ReLU memiliki keunggulan yang sama dengan satu-satunya perbedaan bahwa kemiringan output untuk input negatif adalah parameter yang dapat dipelajari sementara di LeLAK ReLU itu adalah hiperparameter. Namun, saya tidak dapat …

10 neural-networks  activation-function  relu