Seberapa benarkah slide ini pada pembelajaran yang mendalam mengklaim bahwa semua peningkatan dari tahun 1980 hanya karena lebih banyak data dan komputer yang lebih cepat?

Saya mendengarkan ceramah dan melihat slide ini:

Seberapa benar itu?

Saya sedang menjelajahi AI StackExchange dan menemukan pertanyaan yang sangat mirip: Apa yang membedakan "Deep Learning" dari jaringan saraf lain?

Karena AI StackExchange akan ditutup besok (lagi), saya akan menyalin dua jawaban teratas di sini (kontribusi pengguna dilisensikan dengan cc by-sa 3.0 dengan atribusi yang diperlukan):

Penulis: mommi84less

Dua makalah 2006 yang dikutip dengan baik membawa minat penelitian kembali ke pembelajaran yang mendalam. Dalam "Algoritma pembelajaran cepat untuk jaring kepercayaan mendalam" , penulis mendefinisikan jaring keyakinan mendalam sebagai:

[...] jaring kepercayaan yang terhubung erat yang memiliki banyak lapisan tersembunyi.

Kami menemukan deskripsi yang hampir sama untuk jaringan yang dalam di " Pelatihan Greedy Layer-Wise dari Deep Networks" :

Deep multi-layer neural network memiliki banyak tingkatan non-linearitas [...]

Kemudian, dalam makalah survei "Representasi Pembelajaran: Tinjauan dan Perspektif Baru" , pembelajaran mendalam digunakan untuk mencakup semua teknik (lihat juga pembicaraan ini ) dan didefinisikan sebagai:

[...] membangun beberapa level representasi atau mempelajari hierarki fitur.

Kata sifat "dalam" dengan demikian digunakan oleh penulis di atas untuk menyoroti penggunaan beberapa lapisan tersembunyi non-linear .

Penulis: lejlot

Hanya untuk menambahkan jawaban ke @ mommi84.

Pembelajaran mendalam tidak terbatas pada jaringan saraf. Ini adalah konsep yang lebih luas dari sekedar DBN Hinton dll. Pembelajaran mendalam adalah tentang

membangun beberapa level representasi atau mempelajari hierarki fitur.

Jadi itu adalah nama untuk algoritma pembelajaran representasi hirarkis . Ada model mendalam berdasarkan Hidden Markov Model, Conditional Randoms Fields, Support Vector Machines dll. Satu-satunya hal yang umum adalah, bahwa alih-alih (populer di tahun 90-an) fitur engineering , di mana para peneliti mencoba untuk membuat serangkaian fitur, yang merupakan terbaik untuk memecahkan beberapa masalah klasifikasi - mesin-mesin ini dapat mengerjakan representasi mereka sendiri dari data mentah. Khususnya - diterapkan pada pengenalan gambar (gambar mentah) mereka menghasilkan representasi multi level yang terdiri dari piksel, lalu garis, lalu fitur wajah (jika kita bekerja dengan wajah) seperti hidung, mata, dan wajah yang akhirnya digeneralisasi. Jika diterapkan pada Natural Language Processing - mereka membangun model bahasa, yang menghubungkan kata-kata menjadi potongan-potongan, potongan-potongan menjadi kalimat dll.

Slide lain yang menarik:

sumber

Dropout, dari Hinton pada tahun 2006, dikatakan sebagai peningkatan terbesar dalam pembelajaran mendalam selama 10 tahun terakhir, karena mengurangi banyak overfitting.

Ini tentu pertanyaan yang akan memancing kontroversi.

Ketika jaringan saraf digunakan dalam pembelajaran mendalam, mereka biasanya dilatih dengan cara-cara yang tidak digunakan pada 1980-an. Secara khusus, strategi yang melakukan pra-lapisan individu pada jaringan saraf untuk mengenali fitur-fitur pada level yang berbeda diklaim membuatnya lebih mudah untuk melatih jaringan dengan beberapa lapisan. Itu tentu perkembangan baru sejak 1980-an.

Kuncinya adalah kata "mendalam" dalam pembelajaran mendalam. Seseorang (lupa ref) di tahun 80-an membuktikan bahwa semua fungsi non-linear dapat diperkirakan oleh jaringan saraf tunggal dengan, tentu saja, sejumlah besar unit tersembunyi. Saya pikir hasil ini mungkin membuat orang enggan mencari jaringan yang lebih dalam di era sebelumnya.

Tetapi kedalaman jaringan adalah apa yang terbukti menjadi elemen penting dalam representasi hierarkis yang mendorong keberhasilan banyak aplikasi saat ini.

Tidak persis, JST dimulai pada 50-an. Lihatlah salah satu slide bintang rock Yann LeCun untuk intro yang otentik dan komprehensif. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf