Metode regularisasi
Untuk 4 teknik berikut, Regularisasi L1 dan Regularisasi L2 tidak perlu dikatakan bahwa mereka harus menjadi metode regularisasi. Mereka mengecilkan beratnya. L1 akan berkonsentrasi untuk mengecilkan jumlah yang lebih kecil jika bobot memiliki kepentingan yang lebih tinggi.
Dropout mencegah overfitting dengan sementara menjatuhkan neuron. Akhirnya, ia menghitung semua bobot sebagai rata-rata sehingga beratnya tidak akan terlalu besar untuk neuron tertentu dan karenanya merupakan metode regularisasi.
Normalisasi Batch tidak boleh menjadi metode regularisasi karena tujuan utamanya adalah untuk mempercepat pelatihan dengan memilih batch dan memaksa bobot untuk didistribusikan mendekati 0, tidak terlalu besar, tidak terlalu kecil.
Memilihnya
Bagi saya, mini-batch adalah suatu keharusan karena dapat mempercepat proses dan meningkatkan kinerja jaringan setiap saat.
L1 dan L2 keduanya mirip dan saya lebih suka L1 dalam jaringan kecil.
Idealnya, dropout harus diterapkan jika ada masalah variasi besar atau overfitting.
Terakhir tetapi tidak sedikit, saya setuju dengan Neil Slater bahwa itu tergantung pada situasinya dan tidak akan pernah ada solusi optimal.
Saya sarankan Anda untuk membaca ini untuk informasi lebih lanjut. Ini adalah bahan yang sangat bagus. http://neuralnetworksanddeeplearning.com/chap3.html