Pertanyaan yang diberi tag «batch-normalization»

Jadi, baru-baru ini ada kertas Normalisasi Layer . Ada juga implementasi di Keras. Tapi saya ingat ada makalah yang berjudul Normalisasi Batch Berulang (Cooijmans, 2016) dan Batch Normalisasi Jaringan Saraf Berulang (Laurent, 2015). Apa perbedaan antara ketiganya? Ada bagian Pekerjaan Terkait ini yang saya tidak mengerti: Normalisasi batch sebelumnya telah …

30 deep-learning  rnn  normalization  batch-normalization 

Normalisasi Batch dijelaskan dalam makalah ini sebagai normalisasi input ke fungsi aktivasi dengan skala dan variabel bergeserγγ\gamma dan ββ\beta. Makalah ini terutama menjelaskan menggunakan fungsi aktivasi sigmoid, yang masuk akal. Namun, bagi saya tampaknya memberi makan input dari distribusi normal yang dihasilkan oleh normalisasi batch menjadi fungsi aktivasi ReLU darim …

10 machine-learning  neural-network  deep-learning  batch-normalization 

Normalisasi batch dan ReLU adalah solusi untuk masalah gradien yang hilang. Jika kita menggunakan normalisasi batch, haruskah kita menggunakan sigmoids? Atau adakah fitur ReLU yang menjadikannya berharga bahkan ketika menggunakan batchnorm? Saya kira normalisasi yang dilakukan dalam batchnorm akan mengirimkan nol aktivasi negatif. Apakah itu berarti bahwa batchnorm menyelesaikan masalah …

9 deep-learning  batch-normalization 

Dalam makalah Normalisasi Batch: Mempercepat Pelatihan Jaringan Dalam dengan Mengurangi Pergeseran Kovarian Internal (di sini ) Sebelum menjelaskan proses normalisasi bets, makalah ini mencoba menjelaskan masalah yang terkait dengan (saya tidak mendapatkan apa masalah yang sebenarnya dibahas di sini) . kutipan dari bagian 2, para 2: Kami dapat mempertimbangkan pemutihan …

8 neural-network  deep-learning  batch-normalization