Algoritma pembelajaran mesin yang skalabel tampak seperti buzz hari ini. Setiap perusahaan menangani kekurangan data besar . Apakah ada buku teks yang membahas algoritma pembelajaran mesin apa yang dapat diskalakan menggunakan arsitektur paralel seperti Map-Reduce, dan algoritma mana yang tidak bisa? Atau beberapa makalah yang relevan?
Jawaban:
Mahout in Action adalah buku yang bagus untuk dibaca di Mahout ( http://manning.com/owen/ ). Tentu saja situs web memiliki ikhtisar tentang algoritma yang dicakup ( http://mahout.apache.org/ ).
Vowpal Wabbit, sebuah program pembelajaran mesin yang sangat cepat yang berfokus pada pembelajaran gradient descent online, dapat digunakan dengan Hadoop: http://arxiv.org/abs/1110.4198 Meskipun, saya belum pernah menggunakannya dengan cara ini. Jika saya memahaminya dengan benar, itu benar-benar hanya menggunakan Hadoop untuk keandalan dan menyediakan data untuk proses Vowpal Wabbit. Ini menggunakan sesuatu seperti AllReduce MPI untuk melakukan sebagian besar komunikasi.
Seperti yang ditunjukkan oleh Jimmy Lin dan Chris Dyer pada bab pertama dalam buku mereka tentang Penambangan Teks Data-Intensif dengan MapReduce , pada skala data besar, kinerja berbagai algoritma bertemu sehingga perbedaan kinerja hampir hilang. Ini berarti bahwa mengingat kumpulan data yang cukup besar, algoritma yang ingin Anda gunakan adalah salah satu yang secara komputasi lebih murah. Hanya pada skala data yang lebih kecil bahwa perbedaan kinerja antara algoritma penting.
Yang sedang berkata, buku mereka (ditautkan di atas) dan Penambangan Kumpulan Besar oleh Anand Rajaraman, Jure Leskovec, dan Jeffrey D. Ullman mungkin adalah dua buku yang ingin Anda periksa juga, terutama karena mereka berkaitan langsung dengan MapReduce untuk keperluan penambangan data.
Jika Anda memiliki akses ke cluster Hadoop, saya akan memberi Spark tampilan. https://spark.apache.org/
Tidak ada yang menyebutkan makalah berikut - http://papers.nips.cc/paper/3150-map-reduce-for-machine-learning-on-multicore.pdf (Andrew Ng adalah salah satu penulis)
Kertas itu sendiri adalah untuk mesin multi-core, tetapi pada dasarnya tentang menyusun kembali masalah pembelajaran mesin sehingga sesuai dengan pola pengurangan peta, dan dapat digunakan untuk sekelompok komputer. (untuk melihat mengapa itu bukan ide yang baik secara umum, Anda mungkin ingin membaca makalah ini - http://arxiv.org/pdf/1006.4990v1.pdf . Ini memiliki ikhtisar yang baik).
Scaling Up Machine Learning : pendekatan paralel dan terdistribusi adalah buku yang bagus oleh John Langford et. Al. yang membahas implementasi paralel dari algoritma yang diawasi dan tidak terawasi. Ini berbicara tentang MapReduce, ansambel pohon keputusan, paralel K-means, paralel SVM, penyebaran kepercayaan, dan AD-LDA.
https://www.amazon.com/Scaling-Machine-Learning-Distributed-Approaches/dp/0521192242