Apa perbedaan jaringan syaraf yang dalam dengan jaringan syaraf lain?

Bagaimana jaringan saraf yang memiliki kata sifat "dalam" sebenarnya dibedakan dari jaringan serupa lainnya?

— kenorb
sumber

Perbedaannya sebagian besar dalam jumlah lapisan.

Untuk waktu yang lama, diyakini bahwa "1-2 lapisan tersembunyi sudah cukup untuk sebagian besar tugas" dan itu tidak praktis untuk menggunakan lebih dari itu, karena pelatihan jaringan saraf bisa sangat menuntut komputasi.

Saat ini, komputer mampu melakukan lebih banyak lagi, sehingga orang-orang sudah mulai menggunakan jaringan dengan lebih banyak lapisan dan menemukan bahwa mereka bekerja sangat baik untuk beberapa tugas.

Kata "dalam" ada di sana hanya untuk membedakan jaringan ini dari yang tradisional, "lebih dangkal".

— Lurker Disenchanted
sumber

Jika saya memahami "pembelajaran mendalam" dengan benar, ada beberapa parameter (bobot) yang diikat bersama, sehingga mengurangi ruang parameter. NN normal tidak bisa melakukan itu.

— Raphael

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacemaksud Anda Convolutional Neural Networks?

— publicgk

@publicgk Itulah yang saya lihat, ya.

— Raphael

Saya selalu mendengar "pembelajaran mendalam" adalah ketika Anda menggunakan kumpulan data yang sangat besar. Apakah ini sebuah kesalahan dan ukuran data tidak masalah - atau apakah orang-orang mengasosiasikan pembelajaran yang mendalam dengan kumpulan data yang sangat besar karena itulah yang diperlukan untuk pelatihan.

— Steven Sagona

Saya ingin menunjukkan bahwa "kepercayaan" ini bahwa jaringan saraf dengan hanya 1 lapisan tersembunyi dapat menghitung fungsi apa pun sebenarnya telah terbukti (lihat misalnya neuralnetworksanddeeplearning.com/chap4.html ). Saya pikir Anda harus menjelaskan sedikit lebih banyak mengapa lebih dari 1 lapisan tersembunyi kemudian "nyaman".

— nbro

Jaringan syaraf yang dalam hanyalah jaringan syaraf (feed-forward) dengan banyak lapisan.

Namun, jaringan kepercayaan yang mendalam, jaringan Deep Boltzman, dll., Tidak dianggap (dapat diperdebatkan) jaringan saraf yang dalam, karena topologi mereka berbeda (mereka memiliki jaringan yang tidak terarah dalam topologi mereka).

Lihat juga ini: /stats//a/59854/84191 .

— Dawny33
sumber