Jaringan kepercayaan mendalam atau Deep Boltzmann Machines?

Saya bingung. Apakah ada perbedaan antara jaringan kepercayaan Deep dan Deep Boltzmann Machines? Jika demikian, apa bedanya?

— Jack Twain
sumber

artikel wikipedia tentang jaringan kepercayaan mendalam cukup jelas meskipun akan bermanfaat / wawasan untuk memiliki gambaran etimologi / sejarah istilah yang lebih besar. pada dasarnya jaringan kepercayaan yang dalam cukup analog dengan jaringan saraf yang dalam dari pov probabilistik, dan mesin boltzmann yang dalam adalah salah satu algoritma yang digunakan untuk mengimplementasikan jaringan keyakinan mendalam. rupanya semua JST memiliki interpretasi / model probabilistik tetapi mereka tidak semudah / secara langsung diperoleh seperti beberapa model "kepercayaan" bayesian / berorientasi-probabilistik.

— vzn

Jawaban:

Meskipun Deep Belief Networks (DBNs) dan Deep Boltzmann Machines (DBMs) secara diagram terlihat sangat mirip, mereka sebenarnya sangat berbeda secara kualitatif. Ini karena DBN diarahkan dan DBM tidak diarahkan. Jika kita ingin memasukkan mereka ke dalam gambaran ML yang lebih luas kita bisa mengatakan DBN adalah jaringan kepercayaan sigmoid dengan banyak lapisan variabel laten yang terhubung dan DBM adalah bidang acak markov dengan banyak lapisan variabel laten yang terhubung erat.

Dengan demikian mereka mewarisi semua properti model ini. Misalnya, dalam komputasi DBN , di mana adalah lapisan yang terlihat dan adalah variabel tersembunyi mudah. Di sisi lain, komputasi apa pun biasanya tidak dapat dilakukan secara komputasional dalam DBM karena fungsi partisi yang sulit ditembus. $P(v|h)$ $v$ $h$ $P$

Itu dikatakan ada kesamaan. Sebagai contoh:

DBNs dan karya DBM asli keduanya menggunakan skema inisialisasi berdasarkan pelatihan serakah layerwise mesin Bolzmann terbatas (RBM),
Keduanya "dalam".
Keduanya menampilkan lapisan variabel laten yang terhubung erat ke lapisan di atas dan di bawah, tetapi tidak memiliki koneksi intralayer, dll.

— alto
sumber

Bagaimana DBN bisa menjadi jaringan kepercayaan sigmoid? !! Lapisan DBN adalah RBM sehingga setiap lapisan adalah bidang acak markov!

— Jack Twain

Saya pikir ada salah ketik di sini "Ini karena DBM diarahkan dan DBM tidak diarahkan.". Saya pikir maksud Anda DBN tidak terarah

— Jack Twain

@AlexTwain Ya, seharusnya sudah membaca "DBN diarahkan". Meskipun Anda mungkin menginternalisasi DBN dengan terlebih dahulu mempelajari sekelompok RBM, pada akhirnya Anda biasanya melepaskan beban dan berakhir dengan jaringan kepercayaan sigmoid yang mendalam (terarah). Dalam banyak karya DBN asli orang meninggalkan lapisan atas tidak terarah dan kemudian didenda dengan sesuatu seperti bangun tidur, dalam hal ini Anda memiliki hibrida.

— alto

Apakah yang Anda maksudkan dalam 3. bahwa mereka tidak memiliki koneksi "(misalnya antar node dalam lapisan tersembunyi) daripada * antar pemain (misalnya dari input ke lapisan tersembunyi)?

— ddiez

@ddiez Ya, begitulah seharusnya membaca. Terima kasih atas koreksi.

— alto

Keduanya adalah model grafis probabilistik yang terdiri dari lapisan RBM yang bertumpuk. Perbedaannya terletak pada bagaimana lapisan-lapisan ini terhubung.

Tautan ini membuatnya cukup jelas: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Gambar 2 dan Bagian 3.1 sangat relevan.

Untuk meringkas:

Dalam DBN, koneksi antar lapisan diarahkan. Oleh karena itu, dua lapisan pertama membentuk RBM (model grafis tidak terarah), kemudian lapisan berikutnya membentuk model generatif terarah.

Dalam DBM, koneksi antara semua lapisan tidak diarahkan, sehingga setiap pasangan lapisan membentuk RBM.

— Darkensberge
sumber

jadi mesin boltzmann yang dalam masih dibangun dari RBM? Saya mendasarkan kesimpulan saya pada pengantar dan gambar di koran

— Marin