Pembelajaran Batch vs. On-line
Mode on-line dan batch sedikit berbeda, meskipun keduanya akan berkinerja baik untuk permukaan kinerja parabola. Salah satu perbedaan utama adalah bahwa algoritma batch menjaga bobot sistem konstan sementara menghitung kesalahan yang terkait dengan setiap sampel dalam input. Karena versi on-line secara konstan memperbarui bobotnya, perhitungan kesalahannya (dan karenanya estimasi gradien) menggunakan bobot yang berbeda untuk setiap sampel input. Ini berarti bahwa kedua algoritma mengunjungi set poin yang berbeda selama adaptasi. Namun, keduanya bertemu dengan minimum yang sama.
Perhatikan bahwa jumlah pembaruan berat dari dua metode untuk jumlah presentasi data yang sama sangat berbeda. Metode on-line (LMS) melakukan pembaruan setiap sampel, sementara batch melakukan pembaruan setiap zaman, yaitu,
Pembaruan LMS = (pembaruan batch) x (# sampel dalam set pelatihan).
Algoritma batch juga sedikit lebih efisien dalam hal jumlah komputasi.