Saya mendapat kesan bahwa ketika orang mengacu pada jaringan 'keyakinan mendalam' bahwa ini pada dasarnya adalah jaringan saraf tetapi sangat besar. Apakah ini benar atau apakah jaringan kepercayaan yang mendalam juga menyiratkan bahwa algoritma itu sendiri berbeda (yaitu, tidak ada umpan balik neural net tetapi mungkin sesuatu dengan loop umpan balik)?
Jawaban:
"Jaringan saraf" adalah istilah yang biasanya digunakan untuk merujuk ke jaringan saraf feedforward. Deep Neural Networks adalah feedforward Neural Networks dengan banyak lapisan.
Jaringan kepercayaan yang mendalam tidak sama dengan jaringan saraf yang mendalam.
Seperti yang telah Anda tunjukkan, jaringan kepercayaan yang dalam memiliki koneksi tidak langsung antara beberapa lapisan. Ini berarti bahwa topologi DNN dan DBN berbeda menurut definisi.
Lapisan yang tidak diarahkan dalam DBN disebut Mesin Boltzmann Terbatas. Lapisan-lapisan ini dapat dilatih menggunakan algoritma pembelajaran tanpa pengawasan (Contrastive Divergence) yang sangat cepat (Inilah tautan ! Dengan perincian).
Beberapa komentar lagi:
Solusi yang diperoleh dengan jaringan saraf yang lebih dalam sesuai dengan solusi yang berkinerja lebih buruk daripada solusi yang diperoleh untuk jaringan dengan 1 atau 2 lapisan tersembunyi. Seiring semakin dalamnya arsitektur, semakin sulit untuk mendapatkan generalisasi yang baik menggunakan Deep NN.
Pada tahun 2006, Hinton menemukan bahwa hasil yang jauh lebih baik dapat dicapai dalam arsitektur yang lebih dalam ketika setiap lapisan (RBM) dilatih sebelumnya dengan algoritma pembelajaran tanpa pengawasan (Contrastive Divergence). Kemudian Jaringan dapat dilatih dengan cara yang diawasi menggunakan backpropagation untuk "menyempurnakan" bobot.
" Deep Neural Network adalah umpan-maju, jaringan saraf tiruan yang memiliki lebih dari satu lapisan unit tersembunyi antara input dan outputnya. Setiap unit tersembunyi, , biasanya menggunakan fungsi logistik untuk memetakan total inputnya dari lapisan di bawah , , ke status skalar, yang dikirimkannya ke lapisan di atas. (Rujukan (1)) ".
Yang mengatakan, seperti yang disebutkan oleh David: " jaringan kepercayaan yang dalam memiliki koneksi tidak diarahkan antara dua lapisan teratas, seperti dalam RBM ", yang berbeda dengan jaringan saraf umpan maju. Secara umum, masalah utama dalam DNN berkaitan dengan pelatihannya yang pasti lebih melibatkan NN lapisan tunggal. (Saya tidak mengerjakan NNs, kebetulan saya baru saja membaca koran.)
Referensi: 1. Deep Neural Networks untuk Pemodelan Akustik dalam Pengenalan Bicara , oleh Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath ,, dan Brian Kingsbury dalam Majalah Pemrosesan Sinyal IEEE [82] November 2012 ( Tautan ke Kertas Asli dalam MSR )
Senang melihat komentar Alex di sini. Saya telah menjelaskan kepada orang-orang bahwa DL adalah jaringan saraf yang khas. Tidak ada perbedaan dalam skema pembelajaran. JST sebelumnya yang ditulis dalam c (70-an) memiliki opsi untuk mengatur beberapa lapisan tersembunyi. Sebenarnya saya menguji untuk menentukan apakah lebih banyak lapisan tersembunyi meningkatkan akurasi. Jumlah layer tidak membuat DL berbeda dari ANN.
Saya benci istilah penandaan semacam ini. Sekarang kami memiliki begitu banyak pakar DL yang tidak tahu DL sebenarnya ANN. Karena penandaan sangat baik dan kuat, orang percaya bahwa kami banyak maju di bidang Pembelajaran Mesin. Tapi, tidak ada yang baru!