Apa referensi bagus untuk memahami pembelajaran online?


10

Secara khusus, saya meminta sumber daya untuk mempelajari tentang sistem pembelajaran mesin yang dapat memperbarui jaringan kepercayaan masing-masing (atau yang setara) selama operasi. Saya bahkan telah menemukan beberapa, meskipun saya gagal untuk membookmark mereka.

Seperti yang Anda bayangkan, ini adalah topik yang agak sulit untuk dicari di internet.


Ketika meminta pengguna untuk berkontribusi ke daftar jawaban, pertanyaan itu harus ditandai dengan wiki komunitas . Saya telah mengonversi pertanyaan ini.
Robert Cartaino

Jawaban:


11

Sebagian besar algoritma pembelajaran online berasal dari setidaknya satu dari garis keturunan berikut:

  • perceptron

    Perseptron canggih adalah algoritma pasif-agresif , perceptron terstruktur , dan banyak ragamnya.

  • Menampi itu

    Winnow telah dirumuskan ulang sebagai metode gradien eksponensial , dan dapat diterapkan untuk masalah terstruktur juga. Ada juga varietas yang berurusan langsung dengan regularisasi L1 (untuk menjamin sparsity), seperti SMIDAS .

  • Penurunan gradien stokastik

    Stochastic gradient descent adalah ketika Anda menerapkan optimasi online untuk masalah yang mungkin terjadi. Algoritma mutakhir adalah Leon Bottou's LaSVM , Pegasos , dan banyak algoritma jaringan saraf dapat dengan mudah dilatih dalam pengaturan ini. Lihat theano tutorial untuk banyak contoh. Mungkin EM online cocok di sini.

  • penyaringan partikel

    Ini juga dikenal sebagai inferensi rao-blackwell, dan memungkinkan Anda untuk memperbarui model grafis / probabilistik ketika lebih banyak data datang. Beberapa contoh yang baik adalah model topik online dan tutorial NIPS di SMC .

Ada juga beberapa masalah yang lebih luas dengan pembelajaran online, seperti secara online-to-batch konversi , teknik anggaran untuk pembelajaran online dengan kernel (seperti tulisan ini , makalah ini , dan tulisan ini ), banyak rasa yang berbeda dari batas generalisasi, kekhawatiran sparsity (dan juga makalah SMIDAS yang saya kutip di atas), hashing untuk menghemat memori, dan banyak masalah lainnya.


Jawaban yang sangat informatif!
Tayfun Bayar




1

Pembelajaran Mesin - Materi Kursus - Stanford http://www.stanford.edu/class/cs229/materials.html

Ceramah Video Pembelajaran Mesin dan Kecerdasan Buatan http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Proses Gaussian untuk Pembelajaran Mesin http://www.gaussianprocess.org/gpml/


1
Ini tidak berbicara secara khusus tentang pembelajaran online. Buku proses gaussian hampir tidak menyebutkan perkiraan online untuk proses gaussian.
Alexandre Passos
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.