Pertanyaan yang diberi tag «batch-normalization»

Saya membaca makalah normalisasi batch (BN) (1) dan tidak mengerti perlunya menggunakan moving average untuk melacak akurasi model dan bahkan jika saya menerima bahwa itu adalah hal yang benar untuk dilakukan, saya tidak mengerti apa yang sebenarnya mereka lakukan. Menurut pemahaman saya (yang salah saya), makalah ini menyebutkan bahwa itu …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Sejauh yang saya mengerti, norma batch menormalkan semua fitur input ke layer ke distribusi normal unit, . Mean dan varians diperkirakan dengan mengukur nilainya untuk mini-batch saat ini.N( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Setelah normalisasi input diskalakan dan digeser dengan nilai skalar: x^′saya= γx^saya+ βx^i′=γx^i+β\hat{x}_i' …

13 batch-normalization 

Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya bekerja dalam bahasa tingkat tinggi (sambil mengandalkan Rcpp(dan akhirnya GPU) untuk perkalian matriks padat), merobek semuanya dan …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Saya ingin melatih jaringan dengan non-linearitas yang menderita menghilangnya (atau meledak masalah gradien meskipun sebagian besar menghilang). Saya tahu bahwa cara standar (saat ini) adalah dengan menggunakan normalisasi batch 1 [BN] 1 atau hanya meninggalkan non-linearitas dan menggunakan unit ReLu Rectifier / ReLu . Saya menginginkan dua hal: Tetap dengan …

8 machine-learning  neural-networks  conv-neural-network  batch-normalization