Mengapa peneliti jaringan saraf peduli dengan zaman?

Sebuah zaman dalam penurunan gradien stokastik didefinisikan sebagai satu kali melewati data. Untuk setiap minibatch SGD, sampel diambil, gradien dihitung dan parameter diperbarui. Dalam pengaturan zaman, sampel diambil tanpa penggantian.$k$

Tapi ini sepertinya tidak perlu. Mengapa tidak menggambar setiap minibid SGD sebagai penarikan acak dari seluruh kumpulan data di setiap iterasi? Pada sejumlah besar zaman, penyimpangan kecil di mana sampel terlihat lebih atau kurang sering tampaknya tidak penting.$k$

Selain jawaban Franck tentang kepraktisan, dan jawaban David tentang melihat subkelompok kecil - keduanya merupakan poin penting - sebenarnya ada beberapa alasan teoretis untuk memilih pengambilan sampel tanpa penggantian. Alasannya mungkin terkait dengan poin David (yang pada dasarnya adalah masalah pengumpul kupon ).

Pada tahun 2009, Léon Bottou membandingkan kinerja konvergensi pada masalah klasifikasi teks tertentu ( ).$n = 781,265$

Bottou (2009). Anehnya Konvergensi cepat dari beberapa Algoritma Keturunan Gradien Stochastic . Prosiding simposium tentang pembelajaran dan ilmu data. ( pdf penulis )

Dia melatih mesin vektor dukungan melalui SGD dengan tiga pendekatan:

• Acak : mengambil sampel acak dari dataset lengkap pada setiap iterasi.
• Siklus : kocok dataset sebelum memulai proses pembelajaran, lalu berjalanlah secara berurutan, sehingga di setiap zaman Anda melihat contoh dalam urutan yang sama.
• Acak : reshuffle dataset sebelum setiap zaman, sehingga setiap zaman berjalan dalam urutan yang berbeda.

$\mathbb E[ C(\theta_t) - \min_\theta C(\theta) ]$θ t$C$$\theta_t$$t$

• Untuk Acak, konvergensi kira-kira berada pada urutan (seperti yang diharapkan oleh teori yang ada pada saat itu).$t^{-1}$
• Siklus memperoleh konvergensi pada urutan (dengan tetapi bervariasi tergantung pada permutasi, misalnya untuk Gambar 1-nya). α > 1 α ≈ $t^{-\alpha}$$\alpha > 1$$\alpha \approx 1.8$
• Shuffle lebih kacau, tetapi baris paling pas memberi , jauh lebih cepat daripada Acak.$t^{-2}$

Ini adalah Gambar 1 yang menggambarkan bahwa:

Ini kemudian secara teoritis dikonfirmasi oleh makalah:

Gürbüzbalaban, Ozdaglar, dan Parrilo (2015). Mengapa Mengacak Ulang Secara Acak Stochastic Gradient Descent . arXiv: 1510.08560 . ( video ceramah yang diundang di NIPS 2015 )

Bukti mereka hanya berlaku untuk kasus di mana fungsi kerugian sangat cembung, yaitu tidak untuk jaringan saraf. Adalah masuk akal untuk berharap, bahwa alasan yang sama mungkin berlaku untuk kasus jaringan saraf (yang jauh lebih sulit untuk dianalisis).

Memang memang tidak perlu dari sudut pandang kinerja dengan satu set pelatihan besar, tetapi menggunakan zaman bisa nyaman, misalnya:

• itu memberikan metrik yang cukup bagus: "jaringan saraf dilatih selama 10 zaman" adalah pernyataan yang lebih jelas daripada "jaringan saraf dilatih untuk 18942 iterasi" atau "jaringan saraf dilatih lebih dari 303072 sampel".
• ada cukup banyak hal acak yang terjadi selama fase pelatihan: inisialisasi berat badan acak, pengocokan mini-batch, putus sekolah, dll.
• mudah diimplementasikan
• itu menghindari bertanya-tanya apakah set pelatihan cukup besar untuk tidak memiliki zaman

[1] memberikan satu alasan lagi, yang tidak terlalu relevan dengan konfigurasi komputer saat ini:

Adapun metode penurunan gradien stokastik (termasuk kasus mini-batch), penting untuk efisiensi estimator bahwa setiap contoh atau minibatch disampel secara mandiri. Karena akses acak ke memori (atau lebih buruk lagi, ke disk) mahal, perkiraan yang baik, yang disebut gradien inkremental (Bertsekas, 2010), adalah dengan mengunjungi contoh (atau mini-batch) dalam urutan tetap sesuai dengan urutan mereka dalam memori atau disk (mengulangi contoh dalam urutan yang sama pada zaman kedua, jika kita tidak berada dalam kasus online murni di mana setiap contoh dikunjungi hanya sekali).Dalam konteks ini, akan lebih aman jika contoh atau mini-batch dimasukkan pertama kali dalam urutan acak (untuk memastikan hal ini terjadi, mungkin berguna untuk mengocok contoh terlebih dahulu). Konvergensi yang lebih cepat telah diamati jika urutan mini-batch yang dikunjungi diubah untuk setiap zaman, yang dapat menjadi cukup efisien jika pelatihan diatur dalam memori komputer.

[1] Bengio, Yoshua. " Rekomendasi praktis untuk pelatihan arsitektur mendalam berbasis gradien. " Neural Networks: Tricks of the Trade. Springer Berlin Heidelberg, 2012. 437-478.

Saya agak tidak setuju bahwa itu jelas tidak masalah. Katakanlah ada sejuta contoh pelatihan, dan kami mengambil sepuluh juta sampel.

Di R, kita dapat dengan cepat melihat seperti apa distribusi itu

plot(dbinom(0:40, size = 10 * 1E6, prob = 1E-6), type = "h")

Beberapa contoh akan dikunjungi 20+ kali, sementara 1% di antaranya akan dikunjungi 3 kali atau lebih sedikit. Jika rangkaian pelatihan dipilih dengan hati-hati untuk mewakili distribusi contoh yang diharapkan dalam data nyata, ini dapat memiliki dampak nyata di beberapa bidang kumpulan data --- terutama sekali Anda mulai mengiris data menjadi kelompok-kelompok yang lebih kecil.

Pertimbangkan kasus baru - baru ini di mana satu pemilih Illinois secara efektif mendapat oversampled 30x dan secara dramatis mengubah perkiraan model untuk kelompok demografinya (dan pada tingkat yang lebih rendah, untuk seluruh populasi AS). Jika kita secara tidak sengaja mengecoh gambar "Ruffed Grouse" yang diambil dengan latar belakang hijau pada hari-hari berawan dengan kedalaman bidang yang sempit dan meremehkan jenis gambar belibis lainnya, model mungkin mengaitkan fitur-fitur yang tidak relevan itu dengan label kategori. Semakin banyak cara untuk mengiris data, semakin banyak subkelompok ini, dan semakin banyak peluang untuk kesalahan semacam ini.