Pertanyaan yang diberi tag «activation-function»

Saya memilih fungsi aktivasi untuk lapisan output tergantung pada output yang saya butuhkan dan sifat-sifat fungsi aktivasi yang saya tahu. Sebagai contoh, saya memilih fungsi sigmoid ketika saya berhadapan dengan probabilitas, sebuah ReLU ketika saya berurusan dengan nilai-nilai positif, dan fungsi linier ketika saya berurusan dengan nilai-nilai umum. Dalam lapisan …

13 neural-networks  machine-learning  math  activation-function 

Ada beberapa fungsi aktivasi, seperti ReLU, sigmoid atau tanhtanh\tanh . Apa yang terjadi ketika saya mencampur fungsi aktivasi? Baru-baru ini saya menemukan bahwa Google telah mengembangkan fungsi aktivasi Swish yang (x * sigmoid). Dengan mengubah fungsi aktivasi, bisakah ia meningkatkan akurasi pada masalah jaringan saraf kecil seperti masalah XOR?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Saya baru saja menemukan konsep cakupan neuron, yang merupakan rasio neuron teraktivasi dan total neuron dalam jaringan saraf. Tetapi apa artinya bagi neuron untuk "diaktifkan"? Saya tahu apa fungsi aktivasi, tetapi apa artinya diaktifkan misalnya dalam kasus fungsi ReLU atau sigmoid?

10 neural-networks  ai-basics  concepts  activation-function 

Saya berpikir bahwa keuntungan menggunakan Leaky ReLU daripada ReLU adalah bahwa dengan cara ini kita tidak bisa menghilangkan gradien. Parametrik ReLU memiliki keunggulan yang sama dengan satu-satunya perbedaan bahwa kemiringan output untuk input negatif adalah parameter yang dapat dipelajari sementara di LeLAK ReLU itu adalah hiperparameter. Namun, saya tidak dapat …

10 neural-networks  activation-function  relu