Sebagian besar algoritma pembelajaran online berasal dari setidaknya satu dari garis keturunan berikut:
perceptron
Perseptron canggih adalah algoritma pasif-agresif , perceptron terstruktur , dan banyak ragamnya.
Menampi itu
Winnow telah dirumuskan ulang sebagai metode gradien eksponensial , dan dapat diterapkan untuk masalah terstruktur juga. Ada juga varietas yang berurusan langsung dengan regularisasi L1 (untuk menjamin sparsity), seperti SMIDAS .
Penurunan gradien stokastik
Stochastic gradient descent adalah ketika Anda menerapkan optimasi online untuk masalah yang mungkin terjadi. Algoritma mutakhir adalah Leon Bottou's LaSVM , Pegasos , dan banyak algoritma jaringan saraf dapat dengan mudah dilatih dalam pengaturan ini. Lihat theano tutorial untuk banyak contoh. Mungkin EM online cocok di sini.
penyaringan partikel
Ini juga dikenal sebagai inferensi rao-blackwell, dan memungkinkan Anda untuk memperbarui model grafis / probabilistik ketika lebih banyak data datang. Beberapa contoh yang baik adalah model topik online dan tutorial NIPS di SMC .
Ada juga beberapa masalah yang lebih luas dengan pembelajaran online, seperti secara online-to-batch konversi , teknik anggaran untuk pembelajaran online dengan kernel (seperti tulisan ini , makalah ini , dan tulisan ini ), banyak rasa yang berbeda dari batas generalisasi, kekhawatiran sparsity (dan juga makalah SMIDAS yang saya kutip di atas), hashing untuk menghemat memori, dan banyak masalah lainnya.