Apa hubungan antara model hierarkis, jaringan saraf, model grafis, jaringan bayesian?

34

Mereka semua tampaknya mewakili variabel acak oleh node dan (dalam) ketergantungan melalui (mungkin diarahkan) tepi. Saya terutama tertarik pada sudut pandang bayesian.

— cespinoza
sumber

30

Jaringan Bayesian adalah jenis model grafis. Tipe "besar" lainnya dari model grafis adalah Markov Random Field (MRF). Model grafis digunakan untuk inferensi, estimasi dan secara umum, untuk memodelkan dunia.

Istilah model hierarkis digunakan untuk mengartikan banyak hal di berbagai bidang.

Sementara jaringan saraf datang dengan "grafik" mereka umumnya tidak menyandikan informasi ketergantungan, dan node tidak mewakili variabel acak. NN berbeda karena mereka diskriminatif. Jaringan saraf populer digunakan untuk klasifikasi dan regresi.

Kevin Murphy memiliki pengantar bagus untuk topik-topik ini yang tersedia di sini .

— carlosdc
sumber

nice link. thx

— suncoolsu

1

Terima kasih atas jawabannya. Seperti penanya yang asli, saya juga bertanya-tanya di mana model regresi bertingkat / hierarkis cocok dengan gambar ini. (Hirarki didefinisikan di sini: en.wikipedia.org/wiki/Hierarchical_linear_modeling )

— Yang

but there are also generative neural network models. RNNs, GANs, etc.

— Alexander Reshytko

9

As @carlosdc said, a bayesian network is a type of Graphical Model (i.e., a directed acyclic graph (DAG) whose structure defines a set of conditional independence properties). Hierarchical Bayes Models can also be represented as DAGs; Hierarchical Naive Bayes Classifiers for uncertain data, by Bellazzi et al., provides a good introduction to classification with such models. About hierarchical models, I think many articles can be retrieved by googling with appropriate keywords; for example, I found this one:

C. H. Jackson, N. G. Best and S. Richardson. Bayesian graphical models for regression on multiple data sets with different variables. Biostatistics (2008) 10(2): 335-351.

Michael I. Jordan memiliki tutorial yang bagus tentang Graphical Models, with various applications based on the factorial Hidden Markov model in bioinformatics or natural language processing. His book, Learning in Graphical Models (MIT Press, 1998), is also worth reading (there's an application of GMs to structural modeling with BUGS code, pp. 575-598)

— chl
sumber

0

Neural networks does not require priors, but each hidden node (neurons) of a neural network can be considered as CPD - Noisy OR/AND CPD for a linear node - Sigmoid CPD for a logistic node

Jadi, jaringan saraf dapat dilihat sebagai berlapis-lapis node tersembunyi, masing-masing dengan CPD linear / sigmoidal

Kelas Koller tentang Coursera ATAU buku pelajarannya harus menjadi referensi yang baik untuk jenis CPD.

— Raghu
sumber

Apa kepanjangan dari CPD?

— gwr