1
Mengapa norma batch memiliki skala dan pergeseran yang dapat dipelajari?
Sejauh yang saya mengerti, norma batch menormalkan semua fitur input ke layer ke distribusi normal unit, . Mean dan varians diperkirakan dengan mengukur nilainya untuk mini-batch saat ini.N( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Setelah normalisasi input diskalakan dan digeser dengan nilai skalar: x^′saya= γx^saya+ βx^i′=γx^i+β\hat{x}_i' …