Model ikonik (mainan) dari jaringan saraf

Profesor fisika saya di sekolah pascasarjana, serta peraih Noble Feynman, akan selalu menyajikan apa yang mereka sebut model mainan untuk menggambarkan konsep dasar dan metode dalam fisika, seperti osilator harmonik, pendulum, spinning top, dan kotak hitam.

Model mainan apa yang digunakan untuk menggambarkan konsep dasar dan metode yang mendasari penerapan jaringan saraf? (Referensi silakan.)

Yang saya maksudkan dengan model mainan adalah jaringan sederhana, ukuran minimal yang diterapkan pada masalah yang sangat terbatas di mana metode dasar dapat disajikan dan pemahaman seseorang diuji dan ditingkatkan melalui implementasi aktual, yaitu membangun kode dasar dan lebih disukai pada tingkat tertentu melakukan memeriksa matematika dasar dengan tangan atau dibantu oleh aplikasi matematika simbolis.

Salah satu yang paling klasik adalah Perceptron dalam 2 dimensi, yang kembali ke tahun 1950-an. Ini adalah contoh yang baik karena merupakan landasan untuk teknik yang lebih modern:

1) Tidak semuanya terpisah secara linear (maka kebutuhan akan aktivasi nonlinier atau metode kernel, banyak lapisan, dll.).

2) Perceptron tidak akan konvergen jika data tidak dapat dipisahkan secara linear (pengukuran kontinu seperti softmax, peluruhan laju pembelajaran, dll.).

3) Meskipun ada banyak solusi tak terbatas untuk memisahkan data, jelas bahwa beberapa lebih diinginkan daripada yang lain (pemisahan batas maksimum, SVM, dll.)

Untuk jaringan saraf multilayer, Anda mungkin menyukai contoh klasifikasi mainan yang disertakan dengan visualisasi ini .

Untuk Convolutional Neural Nets, MNIST adalah standar emas klasik, dengan visualisasi yang lucu di sini dan di sini .

Untuk RNN, masalah yang sangat sederhana yang bisa mereka selesaikan adalah penambahan biner , yang membutuhkan 4 pola menghafal.

1. Masalah XOR mungkin adalah masalah mainan JST kanonik.

   Richard Bland Juni 1998 Universitas Stirling, Departemen Ilmu Komputer dan Matematika Laporan Teknis Ilmu Komputer " Belajar XOR: menjelajahi ruang masalah klasik "

2. The TensorFlow Playground adalah sebuah antarmuka interaktif untuk beberapa jaring mainan saraf, termasuk XOR dan Jellyroll.

3. Menghitung nilai eigen terbesar dari matriks simetrik ukuran-tetap (2x2 atau 3x3) adalah yang saya gunakan dalam demo kelas.

   A. Cichocki dan R. Unbehauen. " Jaringan saraf untuk menghitung nilai eigen dan vektor eigen " Sibernetika Biologis Desember 1992, Volume 68, Edisi 2, hal 155–164

Masalah seperti MNIST jelas kanonik tetapi tidak mudah diverifikasi dengan tangan - kecuali jika Anda memiliki waktu luang yang sangat besar. Kode juga tidak terlalu mendasar.

Sejauh tugas NLP, Penn Tree Bank adalah kumpulan data patokan yang sangat standar, yang digunakan misalnya dalam Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Regularisasi Jaringan Syaraf Berulang ," dan mungkin ratusan makalah lain.

Saya tidak tahu mainan fisik, tetapi contoh terbaik yang saya tahu adalah AI multi-layer yang dihasilkan melalui algoritma genetika untuk memainkan Super Mario Brothers. Kode sumber ada dalam deskripsi video.

MarI / O - Pembelajaran Mesin untuk Video Game: https://www.youtube.com/watch?v=qv6UVOQ0F44