Apa kelebihan menggunakan jaringan saraf Bayesian

Baru-baru ini saya membaca beberapa makalah tentang jaringan saraf Bayesian (BNN) [Neal, 1992] , [Neal, 2012] , yang memberikan kemungkinan hubungan antara input dan output dalam jaringan saraf. Pelatihan seperti jaringan saraf adalah melalui MCMC yang berbeda dari algoritma back-propagation tradisional.

Pertanyaan saya adalah: Apa keuntungan menggunakan jaringan saraf seperti itu? Lebih khusus lagi, dapatkah Anda memberikan beberapa contoh yang lebih sesuai dengan BNN daripada NN?

Jaring saraf Bayesian berguna untuk memecahkan masalah dalam domain di mana data langka, sebagai cara untuk mencegah overfitting. Mereka sering mengalahkan semua metode lain dalam situasi seperti itu. Contoh penerapannya adalah biologi molekuler ( misalnya makalah ini ) dan diagnosis medis (bidang-bidang di mana datanya sering berasal dari pekerjaan cepat yang mahal dan sulit). Sebenarnya, jaring Bayesian bermanfaat secara universal dan dapat memperoleh hasil yang lebih baik untuk sejumlah besar tugas, tetapi mereka sangat sulit untuk skala ke masalah besar.

Satu keuntungan dari BNN daripada NN adalah bahwa Anda dapat secara otomatis menghitung kesalahan yang terkait dengan prediksi Anda ketika berhadapan dengan data target yang tidak diketahui. Dengan BNN, kita sekarang melakukan inferensi Bayesian. Mari kita tentukan prediksi BNN kita sebagai , di mana adalah fungsi NN, adalah input Anda , adalah parameter NN, dan x, t adalah input dan target pelatihan. Ini harus kompatibel dengan sintaks yang digunakan oleh Neal di tautan yang disediakan oleh @forecaster. Kemudian kita dapat menghitung deviasi standar dari distribusi prediksi posterior, yang akan saya gunakan sebagai akurasi pada prediksi:$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$$f$$x'$$ω$$\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$