Apakah ada domain di mana Bayesian Networks mengungguli jaringan saraf?

48

Jaringan saraf mendapatkan hasil teratas dalam tugas-tugas Penglihatan Komputer (lihat MNIST , ILSVRC , Kaggle Galaxy Challenge ). Mereka tampaknya mengungguli setiap pendekatan lain dalam Computer Vision. Tetapi ada juga tugas-tugas lain:

Tantangan Kegiatan Molekululer Kaggle
Regresi: Prediksi Kaggle Rain , juga peringkat ke - 2
Pegang dan Angkat ke-2 juga tempat ketiga - Identifikasi gerakan tangan dari rekaman EEG

Saya tidak terlalu yakin tentang ASR (pengenalan suara otomatis) dan terjemahan mesin, tapi saya pikir saya juga pernah mendengar bahwa (berulang) jaringan saraf (mulai) mengungguli pendekatan lain.

Saat ini saya belajar tentang Bayesian Networks dan saya bertanya-tanya dalam kasus apa model-model itu biasanya diterapkan. Jadi pertanyaan saya adalah:

Apakah ada tantangan / (kaggle) persaingan, di mana keadaan seni adalah Bayesian Networks atau setidaknya model yang sangat mirip?

(Catatan: Saya juga melihat pohon keputusan , 2 , 3 , 4 , 5 , 6 , 7 menang dalam beberapa tantangan Kaggle baru-baru ini)

machine-learning pgm

— Martin Thoma
sumber

Ini bukan masalah domain. Ini adalah pertanyaan tentang seberapa banyak data yang Anda miliki, seberapa bagus prior Anda, dan apakah Anda menginginkan eksterior.

— Emre

1

@Emre Yang merupakan masalah domain ... (dan, tentu saja, tentang uang ketika Anda memiliki kemungkinan untuk tidak hanya menggunakan set data yang ada tetapi juga dapat mempekerjakan orang untuk membuat / memberi label data baru).

— Martin Thoma

Ini akan menjadi pertanyaan tentang domain jika ada beberapa properti data, beberapa struktur, bahwa satu algoritma mengambil keuntungan lebih baik dari yang lain, tetapi bukan itu yang saya sarankan.

— Emre

2

Jadi jawaban untuk pertanyaan Anda adalah, Tidak . Baik? Karena semua jawaban tampaknya menunjukkan keunggulan Bayesian Networks dibandingkan model prediksi lainnya, tetapi saya belum melihat adanya persaingan Kaggle di mana mereka benar-benar mengungguli model lain. Adakah yang bisa menyediakannya? Karena semua alasan dan kemungkinan keuntungan, mis. Kurangnya data dan pemilihan prior yang baik, yang diberikan dalam jawaban tampak hebat secara teori, tetapi tetap tidak menjawab pertanyaan dengan memberikan, setidaknya, satu contoh.

— MNLR

Satu hal yang Bayesian network dapat berguna untuk pembelajaran tanpa pengawasan / tugas di mana jumlah datanya relatif terbatas. Jaringan saraf hanya mengungguli orang lain ketika ada sejumlah besar data untuk dilatih.

— xji

31

Salah satu area di mana pendekatan Bayesian sering digunakan, adalah di mana seseorang membutuhkan interpretabilitas sistem prediksi. Anda tidak ingin memberi dokter jaring Saraf dan mengatakan bahwa itu 95% akurat. Anda lebih ingin menjelaskan asumsi yang dibuat oleh metode Anda, serta proses keputusan yang digunakan metode tersebut.

Area serupa adalah ketika Anda memiliki pengetahuan domain yang kuat sebelumnya dan ingin menggunakannya dalam sistem.

— MLgeek
sumber

1

Lihat juga: Mythos of Model Interpretability

— Martin Thoma

Lihat juga: jeruk nipis

— Martin Thoma

18

Jaringan Bayesian dan jaringan saraf tidak eksklusif satu sama lain. Faktanya, jaringan Bayesian hanyalah istilah lain untuk "model grafis terarah". Mereka dapat sangat berguna dalam merancang fungsi objektif jaringan saraf. Yann Lecun telah menunjukkan ini di sini: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Satu contoh.

p (x) = \int_{z} p (x | z) p (z) d z .

$p(x) = \int_z p(x|z)p(z) dz.$

p (x | z)

$p(x|z)$

q (z | x) \approx p (z | x)

$q(z|x) \approx p(z|x)$

— bayer
sumber

Bisakah kedua bagian itu dilatih bersama?

— nn0p

16

Jawaban yang sangat bagus.

Satu domain yang dapat saya pikirkan, dan bekerja secara luas, adalah domain analytics pelanggan .

Saya harus memahami dan memprediksi gerakan dan motif pelanggan untuk menginformasikan dan memperingatkan baik dukungan pelanggan, pemasaran dan juga tim pertumbuhan.

Jadi di sini, jaringan saraf melakukan pekerjaan yang sangat baik dalam prediksi churn, dll. Tapi, saya menemukan dan lebih suka gaya jaringan Bayesian, dan inilah alasan untuk memilihnya:

Pelanggan selalu memiliki pola. Mereka selalu punya alasan untuk bertindak. Dan alasan itu akan menjadi sesuatu yang tim saya telah lakukan untuk mereka, atau mereka telah belajar sendiri. Jadi, semuanya ada di sini sebelumnya, dan faktanya alasan itu sangat penting karena bahan bakar itu sebagian besar keputusan yang diambil oleh pelanggan.
Setiap gerakan oleh pelanggan dan tim pertumbuhan dalam corong pemasaran / penjualan adalah sebab-akibat. Jadi, pengetahuan sebelumnya sangat penting dalam hal mengubah calon pelanggan menjadi pelanggan.

Jadi, konsep prior sangat penting ketika menyangkut analytics pelanggan, yang membuat konsep jaringan Bayesian sangat penting untuk domain ini.

Pembelajaran yang Disarankan:

Metode Bayesian untuk Jaringan Saraf Tiruan

Jaringan Bayesian dalam analisis bisnis

— Dawny33
sumber

15

Terkadang Anda sangat peduli tentang mengubah hasil sebagai memprediksi hasil.

Jaringan saraf yang diberikan data pelatihan yang cukup akan cenderung untuk memprediksi hasil yang lebih baik, tetapi begitu Anda dapat memprediksi hasilnya, Anda mungkin ingin memprediksi efek membuat perubahan pada fitur input pada hasil.

Sebuah contoh dari kehidupan nyata, mengetahui bahwa seseorang kemungkinan mengalami serangan jantung itu berguna, tetapi bisa memberi tahu orang itu bahwa jika mereka berhenti melakukan XX, risikonya akan berkurang 30% adalah manfaat yang jauh lebih besar.

Demikian juga untuk retensi pelanggan, mengetahui mengapa pelanggan berhenti berbelanja dengan Anda, bernilai seperti memprediksi pelanggan yang cenderung berhenti berbelanja dengan Anda.

Juga Jaringan Bayesian sederhana yang memprediksi kurang baik tetapi mengarah pada lebih banyak tindakan yang diambil mungkin sering lebih baik daripada Jaringan Bayesian lebih "benar".

Keuntungan terbesar dari jaringan Bayesian daripada jaringan saraf adalah bahwa mereka dapat digunakan untuk inferensi kausal. Cabang ini sangat penting untuk statistik dan pembelajaran mesin dan Judea Pearl telah memenangkan penghargaan Turing untuk penelitian ini.

— Ian Ringrose
sumber

Tetapi jaringan saraf juga dapat digunakan untuk menentukan peran dan pentingnya fitur yang berbeda, bukan?

— Hossein

7

Jaringan Bayesian mungkin mengungguli Neural Networks dalam pengaturan data kecil. Jika informasi sebelumnya dikelola dengan benar melalui struktur jaringan, prior, dan hyperparameter lainnya, itu mungkin lebih unggul dari Neural Networks. Neural Networks, terutama yang lebih banyak lapisan, sangat dikenal sebagai data lapar. Hampir secara definisi banyak data diperlukan untuk melatih mereka dengan benar.

— Vladislavs Dovgalecs
sumber

4

Saya telah memposting tautan ini di Reddit dan mendapat banyak umpan balik. Beberapa telah memposting jawaban mereka di sini, yang lain tidak. Jawaban ini harus merangkum postingan reddit. (Saya membuatnya menjadi komunitas wiki, sehingga saya tidak mendapatkan poin untuk itu)

Auto-Encoding Variational Bayes adalah kombinasi dari Bayes Network dan neural network. Makalah Bayesian Convolutional Neural Networks dengan Bernoulli Approximate Variational Inference tampaknya berjalan ke arah yang sama.
Dropout: Cara Sederhana untuk Mencegah Overnitting Jaringan Syaraf Tiruan adalah contoh di mana jaringan saraf Bayesian mengungguli pendekatan putus sekolah mereka (lihat bagian 6.4 "Membandingkan dengan Jaringan Syaraf Bayesian")
Pembelajaran konsep tingkat manusia melalui induksi program probabilistik adalah sebuah makalah "pada jaringan net Bayesian yang melakukan klasifikasi sekali pakai yang mengungguli jaringan saraf" (menurut trashacount12345 - saya tidak memeriksanya sekarang).
Yann LeCun menulis posting Google+ di mana ia berpendapat bahwa jaringan saraf dan model grafis probabilisitc bukanlah konsep ortogonal.

— moose
sumber

2

Jaringan Bayesian lebih disukai untuk interpretasi genom. Lihat, misalnya, disertasi ini membahas metode komputasi untuk interpretasi genom.

— Nathaniel Hendrix
sumber

2

Mengapa mereka lebih disukai?

— Ian Ringrose

2

Saya melakukan contoh kecil untuk ini sekali. Dari itu, saya pikir Bayesian Networks lebih disukai jika Anda ingin menangkap distribusi tetapi set pelatihan input Anda tidak mencakup distribusi dengan baik. Dalam kasus seperti itu, bahkan jaringan saraf yang digeneralisasi dengan baik tidak akan dapat merekonstruksi distribusi.

— Leela Prabhu
sumber

-3

Saya sangat tidak setuju bahwa jaring saraf bekerja dengan baik daripada pelajar lainnya. Sebenarnya jaring saraf melakukan cukup buruk dibandingkan dengan metode lain. Juga tidak ada metodologi meskipun beberapa saran untuk memilih parameter ini dilakukan sangat sering secara kebetulan. Ada beberapa cowok juga yang berbicara secara acak di forum-forum tentang bagaimana neural nets begitu baik, bukan karena mereka memiliki beberapa bukti mengenai hal itu, tetapi karena mereka tertarik tentang kata mewah dan buzz, "neural." Mereka juga sangat tidak stabil, apakah Anda mencoba net neural untuk dibandingkan dengan xgboost? Saya tidak akan mencoba net neural sampai ia sadar diri. Jadi sampai saat itu senang neural neting :)

— gm1
sumber

3

Ini terlalu samar dan percakapan untuk membuat jawaban yang bagus. Beberapa spesifik, fakta, dan pengeditan akan memperbaikinya.

— Sean Owen

,, Fakta khusus '' harus ditentukan oleh orang-orang yang memposting pesan seperti itu mengatakan bahwa jaring saraf adalah yang terbaik, Anda tidak bisa mengatakan jaring saraf baik-baik saja hanya karena mereka terdengar mewah, ada juga set data di jaringan saraf yang mungkin melakukannya buruk sedemikian rupa sehingga knn dapatkan dari hasil yang jauh lebih baik.

— gm1

1

Meskipun saya tidak menyangkal pandangan Anda, Anda juga tidak boleh menjawab bahwa jawaban Anda tidak benar-benar menjawab pertanyaan. Jadi, tolong pertimbangkan untuk menambahkannya sebagai komentar. Dan, tolong tambahkan bukti dan teori konkret yang mendukung jawaban Anda, kalau tidak, itu mungkin akan dipandang, sebagai kata kasar, oleh pemirsa di masa depan :)

— Dawny33

1

@ gm1 Saya kira Anda maksud saya dengan ",, Fakta spesifik '' harus ditentukan oleh orang-orang yang memposting pesan seperti itu mengatakan bahwa jaring saraf adalah yang terbaik". Harap dicatat bahwa saya tidak menulis pernyataan yang bersifat umum itu. Saya menulis bahwa NN menang dalam banyak kompetisi / tugas CV. Dan saya telah menambahkan beberapa tantangan di mana pendekatan jaringan saraf menang.

— Martin Thoma

Hai, tentu saja ada beberapa kompetisi Kaggle di mana jaring saraf bekerja dengan baik (seandainya mereka tidak menggunakan jaring saraf yang dikombinasikan dengan model lain), tetapi ini adalah sebagian kecil dari semua kompetisi kaggle, bisakah Anda menggunakan jaringan saraf untuk pergi TOP 3 di kaggle TFI? Saya pikir saya bisa lakukan untuk LB publik dan swasta dengan model yang non-linear.

— gm1