Bagaimana cara memulai dengan jaringan saraf

Saya benar-benar baru di jaringan saraf tetapi sangat tertarik untuk memahaminya. Namun tidak mudah sama sekali untuk memulai.
Adakah yang bisa merekomendasikan buku yang bagus atau sumber daya lainnya? Apakah ada yang harus dibaca?
Saya berterima kasih atas segala tip.

Jaringan saraf telah ada selama beberapa waktu, dan mereka telah berubah secara dramatis selama bertahun-tahun. Jika Anda hanya mencari-cari di web, Anda mungkin berakhir dengan kesan bahwa "jaringan saraf" berarti jaringan feedforward multi-layer yang dilatih dengan back-propagation. Atau, Anda mungkin menemukan salah satu dari puluhan model yang jarang digunakan, bernama aneh dan menyimpulkan bahwa jaringan saraf lebih merupakan kebun binatang daripada proyek penelitian. Atau itu hal yang baru. Atau...

Saya bisa melanjutkan. Jika Anda ingin penjelasan yang jelas, saya akan mendengarkan Geoffrey Hinton . Dia telah ada selama-lamanya dan (karena itu?) Melakukan pekerjaan yang hebat untuk menenun semua model berbeda yang dia kerjakan menjadi satu narasi sejarah yang kohesif, intuitif (dan kadang-kadang teoretis). Di berandanya, ada tautan ke Google Tech Talks dan Videolectures.net kuliah yang telah ia lakukan (di RBMs dan Deep Learning , antara lain).

Dari cara saya melihatnya, berikut adalah peta jalan historis dan pedagogis untuk memahami jaringan saraf, dari awal hingga canggih:

• Perceptrons
  • Mudah dimengerti
  • Sangat terbatas
• Multi-layer, dilatih oleh back-propogation
  • Banyak sumber untuk mempelajari ini
  • Biasanya tidak melakukannya sebaik SVM
• Mesin Boltzmann
  • Cara berpikir yang menarik tentang stabilitas jaringan berulang dalam hal "energi"
  • Lihatlah jaringan Hopfield jika Anda ingin contoh yang mudah dipahami (tetapi tidak terlalu praktis) dari jaringan berulang dengan "energi".
  • Secara teoritis menarik, tidak berguna dalam praktek (pelatihan tentang kecepatan yang sama dengan pergeseran benua)
• Mesin Boltzmann Terbatas
  • Berguna!
  • Bangun dari teori mesin Boltzmann
  • Beberapa perkenalan yang bagus di web
• Deep Belief Networks
  • Sejauh yang saya tahu, ini adalah kelas multi-layer RBM untuk melakukan pembelajaran semi-diawasi.
  • Beberapa sumber daya

Saya sangat merekomendasikan menonton kuliah ini dan menggunakan ini sebagai bahan bacaan . Ceramah ini tentang pembelajaran mesin secara umum oleh Andrew Ng berbicara panjang lebar tentang jaringan saraf dan memang berusaha keras agar dapat diakses oleh pemula.

Menurut saya, ini adalah buku yang sangat bagus.

• R. Rojas: Jaringan Saraf Tiruan
• CM Bishop: Neural Networks untuk pengenalan Pola

Buku-buku tersebut memiliki beberapa kesamaan: Keduanya panjangnya sekitar 500 halaman, dan mereka cukup tua, dari tahun 1995. Meskipun demikian, mereka tetap sangat berguna. Kedua buku dimulai dari awal, dengan menjelaskan apa itu jaringan saraf. Mereka memberikan penjelasan yang jelas, contoh yang baik dan grafik yang baik untuk membantu pemahaman. Mereka menjelaskan dengan sangat rinci masalah pelatihan jaringan saraf, dalam banyak bentuk dan bentuk mereka, dan apa yang bisa dan tidak bisa mereka lakukan. Kedua buku saling melengkapi satu sama lain dengan sangat baik, karena apa yang tidak bisa dipahami oleh satu buku, satu cenderung ditemukan di buku lain.

Rojas memiliki bagian, yang terutama saya sukai, tentang penerapan back-propagation pada banyak lapisan dalam bentuk matriks. Ini juga memiliki bagian yang bagus tentang logika fuzzy, dan satu tentang teori kompleksitas. Tetapi kemudian Bishop memiliki banyak bagian bagus lainnya.

Rojas, menurut saya, adalah yang paling mudah diakses. Bishop lebih matematis dan mungkin lebih canggih. Dalam kedua buku, matematika sebagian besar adalah aljabar linier dan kalkulus fungsi beberapa variabel (turunan parsial dan sebagainya). Tanpa pengetahuan tentang subjek-subjek ini, Anda mungkin tidak akan menemukan salah satu dari buku-buku ini sangat mencerahkan.

Saya akan merekomendasikan membaca Rojas terlebih dahulu.

Kedua buku, jelas, memiliki banyak hal untuk dikatakan tentang algoritma, tetapi tidak ada yang mengatakan banyak tentang implementasi spesifik dalam kode.

Bagi saya, buku-buku ini memberikan latar belakang, yang membuat kursus online, (seperti Hinton's, on Coursera) dapat dimengerti. Buku-buku itu juga mencakup lebih banyak dasar, dan lebih detail, daripada yang bisa dilakukan secara online.

Saya harap ini membantu, dan dengan senang hati menjawab pertanyaan apa pun tentang buku-buku itu.

Seperti yang telah ditunjukkan orang lain, ada banyak sumber daya (bagus) online dan saya secara pribadi telah melakukan beberapa di antaranya:

• Ng's Intro ke kelas ML di Coursera
• Kelas Neural Networks Hinton di Coursera
• Tutorial pembelajaran mendalam Ng
• membaca bab-bab yang relevan dalam Pemrosesan Terdistribusi Paralel asli

Saya ingin menarik perhatian pada fakta bahwa paparan ini sebagian besar mengikuti perlakuan klasik di mana lapisan (penjumlahan dan non-linearitas bersama) adalah unit dasar. Perlakuan yang lebih populer dan lebih fleksibel diterapkan di sebagian besar perpustakaan seperti torch-nn dan tensorflow, sekarang menggunakan grafik komputasi dengan diferensiasi otomatis untuk mencapai modularitas tinggi. Secara konseptual lebih sederhana dan lebih membebaskan. Saya akan sangat menyarankan kursus terbuka Stanford CS231n yang sangat baik untuk perawatan ini.

Untuk perawatan teori belajar yang keras, Anda mungkin ingin berkonsultasi dengan Neural Networks oleh Anthony dan Bartlett.

Jika Anda menginginkan perawatan dari sudut pandang yang lebih statistik, lihat "Pengenalan Pola dan Jaringan Saraf" Brian Ripley. Buku ini bukan pengantar dan mengandaikan beberapa latar belakang statistik.

http://www.stats.ox.ac.uk/~ripley/PRbook/

Saya telah membuat aplikasi web yang mendukung proses pembelajaran Anda di bidang jaringan saraf.

https://blueneurons.ch/nn

Anda dapat bermain-main dengan pengaturan (arsitektur, fungsi aktivasi, pengaturan pelatihan) dan mengamati bagaimana pengaturan mempengaruhi prediksi. Semua dataset memiliki nilai yang telah dikonfigurasi sebelumnya yang dapat diadopsi. Dimungkinkan juga untuk membuat dataset Anda sendiri.

Instruksi dan penjelasan untuk elemen yang diimplementasikan:

Panduan pengguna