Pertanyaan yang diberi tag «activation-function»

Fungsi aktivasi digunakan untuk memperkenalkan non-linearitas dalam output linear dari tipe w * x + bdalam jaringan saraf. Yang saya bisa mengerti secara intuitif untuk fungsi aktivasi seperti sigmoid. Saya mengerti keuntungan dari ReLU, yaitu menghindari neuron mati selama backpropagation. Namun, saya tidak dapat memahami mengapa ReLU digunakan sebagai fungsi …

19 machine-learning  neural-network  deep-learning  activation-function 

Saya menggunakan kertas BERT yang menggunakan GELU (Gaussian Error Linear Unit) yang menyatakan persamaan sebagai yangGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Bisakah Anda menyederhanakan persamaan dan menjelaskan bagaimana persamaannya telah diperkirakan.

18 activation-function  bert  mathematics 

Di sini jawabannya mengacu pada gradien menghilang dan meledak yang telah di- sigmoidfungsi aktivasi tetapi, saya kira, Relumemiliki kelemahan dan itu adalah nilai yang diharapkan. tidak ada batasan untuk output Reludan nilai yang diharapkan tidak nol. Saya ingat waktu sebelum popularitas Reluyang tanhadalah yang paling populer di antara mesin ahli …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Saya telah mempelajari jenis fungsi aktivasi untuk jaringan saraf. Fungsinya sendiri cukup mudah, tetapi perbedaan aplikasi tidak sepenuhnya jelas. Masuk akal bahwa seseorang membedakan antara fungsi tipe logis dan linier, tergantung pada biner / output kontinu yang diinginkan tetapi apa keuntungan dari fungsi sigmoid dibandingkan fungsi linier sederhana? ReLU sangat …

15 neural-network  activation-function 

Bagaimana Anda menggunakan LeakyRelu sebagai fungsi aktivasi dalam urutan DNN di keras? Jika saya ingin menulis sesuatu yang mirip dengan: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Apa solusinya? Masukkan LeakyRelu mirip dengan Relu? Pertanyaan kedua adalah: apa pengaturan umum terbaik untuk menyetel parameter LeakyRelu? Kapan kinerjanya secara signifikan lebih baik daripada …

14 deep-learning  keras  activation-function