Algoritma hebat, pembelajaran mesin dan tidak ada aljabar linier

Saya mengajar kursus algoritma tingkat lanjut dan ingin memasukkan beberapa topik yang berkaitan dengan pembelajaran mesin yang akan menarik bagi siswa saya. Sebagai hasilnya, saya ingin mendengar pendapat orang tentang hasil algoritmik yang paling menarik / terbesar saat ini dalam pembelajaran mesin. Kendala yang berpotensi sulit adalah bahwa siswa tidak akan memiliki pengetahuan sebelumnya tentang aljabar linier atau topik utama lainnya dalam pembelajaran mesin.

Ini benar-benar membuat mereka bersemangat tentang topik dan untuk memberi tahu mereka bahwa ML adalah area penelitian yang berpotensi menarik bagi para ahli algoritma.

EDIT: Ini adalah program sarjana tahun terakhir (karena kami tidak memiliki program pascasarjana di Inggris pada utamanya). Mereka akan melakukan setidaknya satu kursus dasar algoritma sebelumnya dan mungkin dilakukan dengan baik di dalamnya untuk memilih kursus lanjutan lanjutan. Silabus saat ini dari kursus lanjutan memiliki topik seperti hashing sempurna, filter Bloom, pohon van Emde Boas, prog. Linear, kira-kira. algoritma untuk masalah NP-hard dll. Saya tidak bermaksud untuk menghabiskan lebih dari satu kuliah secara eksklusif pada ML tetapi jika ada sesuatu yang benar-benar relevan untuk kursus algoritma dan ML maka tentu saja itu juga bisa dimasukkan.

Anda dapat menutupi peningkatan . Ini sangat pintar, mudah diimplementasikan, digunakan secara luas dalam praktik, dan tidak memerlukan banyak pengetahuan prasyarat untuk mengerti.

Jika Anda hanya ingin membangkitkan selera mereka dalam satu ceramah, mungkin akan sangat menarik untuk menghadirkan aplikasi yang kuat. Misalnya, mesin dukungan vektor , dan algoritma pembelajaran mesin lainnya, digunakan dalam chemoinformatics untuk penemuan obat.

Masalah pembelajaran pada dasarnya adalah: mengingat perilaku yang ingin ditunjukkan oleh bahan kimia, buat struktur yang menunjukkan perilaku itu dengan menyimpulkannya dari basis data struktur yang diketahui yang memperlihatkan perilaku serupa (atau berbeda). Masalah pembelajaran memiliki kerutan tambahan: obat baru harus "jauh" dalam struktur global dari obat yang diketahui sebelumnya, untuk menemukan kebun paten.

Salah satu sumber adalah Metode Clustering dan Penggunaannya dalam Kimia Komputasi .

K-Means dan KNN sangat kuat dan tidak memerlukan Aljabar Linier kecuali perhitungan jarak titik.

Bagian kedua dari "Jaringan Saraf dan Pembelajaran Mesin" oleh Christopher Bishop (di MSR) ada pada algoritma dalam ML. Buku teks Bishop biasanya digunakan untuk buku teks lulusan (dan kemudian sarjana) dan ditulis dengan sangat baik.

Algoritma ini menggunakan potongan minimum grafik untuk mengklasifikasikan sejumlah besar sampel tidak berlabel menggunakan hanya sejumlah kecil sampel berlabel.

Itu ramah mahasiswa. Saya telah menjelaskan hal ini kepada beberapa undergrads yang dipilih secara acak dan mereka memahaminya.

Ref: Blum, A., & Chawla, S. (2001). Belajar dari data yang diberi label dan tidak berlabel menggunakan grafik mincuts.

Promosi diri Visualisasi algoritma di youtube .

Saya melihat bahwa Ekspektasi Maksimalisasi (EM) belum disebutkan, dan tentu saja "di atas sana" di 10 besar: http://www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf .

Algoritma Penguatan Pembelajaran (terutama Q-Learning dan SARSA) cukup sederhana untuk dipahami dan sangat kuat untuk menyelesaikan beberapa masalah pembelajaran. Mereka tidak memerlukan pengetahuan lanjutan dalam aljabar linier, kecuali untuk bukti konvergensi dan tingkat konvergensi.

Anda dapat menggunakan survei Littman dan al .: http://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html

Anda dapat membahas beberapa algoritma yang klasik atau dengan intuisi yang baik.

Misalnya, C4.5 dan CART, yang merupakan algoritma pohon keputusan klasik.

Anda juga dapat membahas beberapa metode ensemble (misalnya, AdaBoost (Boosting), Bagging), yang memiliki kinerja yang sangat baik dalam aplikasi dunia nyata.

Selain itu, pembelajaran yang mendalam juga merupakan topik yang baik, karena sangat panas.

Native bayes dan jaringan Bayesian, algoritma pohon keputusan cukup mudah untuk divisualisasikan daripada memulai dengan jaringan netral atau svm

Pemrograman genetik sangat keren. Ini menggunakan inspirasi dari biologi, dan dapat diterapkan pada sejumlah besar masalah (misalnya, masalah n-queens, dan TSP).

Itu tidak membutuhkan keterampilan matematika yang mendalam.

EDIT: Ini hanya membutuhkan cara untuk memperkirakan seberapa baik solusi potensial. Ini dapat digunakan misalnya untuk menebak aturan di balik serangkaian angka, menemukan minima / maxima untuk masalah multi-variate, dan mencari spasi parameter yang besar. Ini cocok ketika Anda tidak tertarik pada solusi optimal, tetapi ketika solusi yang cukup baik akan dilakukan. Saya percaya ini telah digunakan untuk menemukan strategi yang baik untuk permainan (membangun pesanan di Starcraft 2, dan bermain optimal di Mario).