Dasar-dasar pembelajaran yang mendalam

Saya mencari makalah yang merinci dasar-dasar pembelajaran yang mendalam. Idealnya seperti kursus Andrew Ng untuk pembelajaran mendalam. Apakah Anda tahu di mana saya dapat menemukan ini?

Tautan ini mengandung sejumlah besar literatur pembelajaran yang mendalam. Meringkasnya di sini (sesuai urutan idealnya seorang pemula) - CATATAN: Semua sumber daya ini terutama menggunakan python.

1) Pertama-tama, diperlukan pengetahuan dasar tentang pembelajaran mesin. Saya menemukan Caltech's Learning dari data ideal untuk semua kursus pembelajaran mesin yang tersedia di internet.

Kursus Andrew Ng's Coursera juga cukup bagus.

2) Untuk jaringan Saraf Tiruan, tidak ada yang menjelaskan lebih baik daripada Dr. Patrick Winston . Tugas harus dicoba untuk pemahaman yang lebih baik. Mereka berada di python.

3) Untuk pemahaman yang lebih baik tentang Neural Networks, Michael Nielsen kursus harus dilakukan (seperti yang disarankan oleh Alexey). Ini cukup mendasar tetapi berfungsi.

4) Untuk jaringan saraf yang dalam, dan mengimplementasikannya lebih cepat pada GPU, ada beberapa kerangka kerja yang tersedia, seperti Theano , Caffe , Pybrain , Torch , dll. Dari Theano ini memberikan fungsionalitas tingkat rendah yang lebih baik yang memungkinkan penggunanya untuk membuat NN kustom. Ini adalah pustaka python, jadi bisa menggunakan numpy, scikit-learn, matplotlib, scipy dan itu adalah nilai tambah yang besar. The pembelajaran tutorial mendalam ditulis oleh Lisa Lab harus mencoba untuk lebih memahami Theano.

5) Untuk Jaringan Neural Konvolusional, ikuti tutorial andrej karpathy .

6) Untuk pembelajaran tanpa pengawasan, ikuti di sini dan di sini .

7) Untuk pertemuan pembelajaran mendalam dan NLP, ikuti kelas Richard Socher .

8) Untuk LSTM, baca Hochreiter, S., & Schmidhuber, J. (1997). Memori jangka panjang yang panjang. Perhitungan saraf, 9 (8), 1735-1780 dan Graves, Alex. Pelabelan urutan yang diawasi dengan jaringan saraf berulang. Vol. 385. Springer, 2012 .

Ini adalah kode Theano LSTM .

Subjek ini baru sehingga sebagian besar kebijaksanaan tersebar di kertas, tetapi di sini ada dua buku terbaru:

• Pembelajaran Jauh , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Pembelajaran Jauh: Metode dan Aplikasi , Li Deng dan Dong Yu.

Dan beberapa materi praktis: http://deeplearning.net/tutorial/

• ACL 2012 + NAACL 2013 Tutorial: Deep Learning for NLP (tanpa Magic)

Neural Networks dan Deep Learning oleh Michael Nielsen. Buku ini masih dalam proses, tetapi terlihat cukup menarik dan menjanjikan. Dan gratis! Inilah tautannya: http://neuralnetworksanddeeplearning.com/

Hanya ada 5 bab sejauh ini, dan sebagian besar dari mereka berbicara tentang jaringan saraf biasa, tetapi masih layak untuk dilihat.

Pembaruan: buku telah selesai!

Referensi utama:

Kursus pembelajaran mendalam:

• Kursus Andrew Ng tentang pembelajaran mesin memiliki bagian pengantar yang bagus tentang jaringan saraf.
• Kursus Geoffrey Hinton: Coursera Neural Networks untuk Pembelajaran Mesin (musim gugur 2012)
• Buku gratis Michael Nielsen, Neural Networks and Deep Learning
• Yoshua Bengio, Ian Goodfellow dan Aaron Courville menulis sebuah buku tentang pembelajaran yang mendalam
• Kursus Hugo Larochelle (video + slide) di Université de Sherbrooke
• Tutorial Stanford (Andrew Ng et al.) Tentang Pembelajaran Fitur Tanpa Pengawasan dan Pembelajaran Dalam
• Tentu saja ML 2014-2015 Oxford
• Kursus pembelajaran NVIDIA Deep (musim panas 2015)
• Kursus Pembelajaran Dalam Google tentang Udacity (Januari 2016)

Berorientasi NLP:

• Stanford CS224d: Pembelajaran Jauh untuk Pemrosesan Bahasa Alami (musim semi 2015) oleh Richard Socher
• Tutorial yang diberikan di NAACL HLT 2013: Pembelajaran Jauh untuk Pemrosesan Bahasa Alami (tanpa Sihir) (video + slide)

Berorientasi pada visi:

• CS231n Neural Networks Konvolusional untuk Pengakuan Visual oleh Andrej Karpathy (versi sebelumnya, lebih pendek dan lebih halus: panduan Hacker untuk Neural Networks ).

Tutorial khusus Toolkit:

• DL4J (Jawa): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Pembelajaran Mesin dengan Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Kursus Pembelajaran Dalam Nervana

Ada juga disertasi PhD Richard Socher baru-baru ini tentang persimpangan NLP dan pembelajaran dalam: Pembelajaran Jauh Rekursif untuk Pemrosesan Bahasa Alami dan Visi Komputer

Untuk memahami derivasi dari algoritma propagasi Kembali, saya sarankan Ryan Harris video youtube yang kurang menakutkan. Anda mungkin menemukan video kedua juga.