Setelah satu setengah tahun, saya kembali ke jawaban saya karena jawaban saya sebelumnya salah.
Ukuran batch mempengaruhi pembelajaran secara signifikan. Apa yang terjadi ketika Anda menempatkan batch melalui jaringan Anda adalah bahwa Anda rata-rata gradien. Konsepnya adalah bahwa jika ukuran bets Anda cukup besar, ini akan memberikan perkiraan yang cukup stabil tentang bagaimana gradien dari dataset lengkap. Dengan mengambil sampel dari dataset Anda, Anda memperkirakan gradien sambil mengurangi biaya komputasi secara signifikan. Semakin rendah Anda pergi, semakin rendah perkiraan Anda akan, namun dalam beberapa kasus gradien yang bising ini benar-benar dapat membantu melepaskan diri dari minimum lokal. Ketika terlalu rendah, bobot jaringan Anda hanya bisa melompat-lompat jika data Anda berisik dan mungkin tidak dapat belajar atau konvergen sangat lambat, sehingga berdampak negatif terhadap total waktu komputasi.
Keuntungan lain dari batching adalah untuk komputasi GPU, GPU sangat baik dalam memparalelkan perhitungan yang terjadi dalam jaringan saraf jika bagian dari komputasi adalah sama (misalnya, perkalian matriks berulang atas matriks bobot yang sama dengan jaringan Anda). Ini berarti bahwa ukuran batch 16 akan memakan waktu kurang dari dua kali jumlah ukuran batch 8.
Jika Anda membutuhkan ukuran batch yang lebih besar tetapi itu tidak sesuai dengan GPU Anda, Anda bisa memberi makan batch kecil, menyimpan perkiraan gradien dan memberi makan satu atau lebih batch, dan kemudian melakukan pembaruan berat. Dengan cara ini Anda mendapatkan gradien yang lebih stabil karena Anda meningkatkan ukuran batch virtual Anda.
SALAH, JAWABAN LAMA: [[[Tidak, ukuran rata-rata hanya mempengaruhi kecepatan belajar Anda, bukan kualitas belajar. Batch_size juga tidak perlu memiliki kekuatan 2, meskipun saya mengerti bahwa paket-paket tertentu hanya membolehkan kekuatan 2. Anda harus mencoba untuk mendapatkan batch_size Anda semaksimal mungkin yang masih sesuai dengan memori GPU Anda untuk mendapatkan kecepatan maksimum yang dimungkinkan. .]]]]