Perbedaan antara Bayes naif & Bayes naif multinomial

Saya pernah berurusan dengan classifier Naif Bayes sebelumnya. Saya telah membaca tentang Multinomial Naif Bayes belakangan ini.

Juga Probabilitas Posterior = (Sebelum * Kemungkinan) / (Bukti) .

Satu-satunya perbedaan utama (saat memprogram pengklasifikasi ini) yang saya temukan antara Naive Bayes & Multinomial Naive Bayes adalah bahwa

Multinomial Naive Bayes menghitung kemungkinan untuk dihitung dari suatu kata / token (variabel acak) dan Naive Bayes menghitung kemungkinan sebagai berikut:

masukkan deskripsi gambar di sini

Koreksi saya jika saya salah!

— garak
sumber

Anda akan menemukan banyak informasi dalam pdf berikut: cs229.stanford.edu/notes/cs229-notes2.pdf

— B_Miner

Christopher D. Manning, Prabhakar Raghavan dan Hinrich Schütze. " Pengantar Pengambilan Informasi. " 2009, bab 13 tentang klasifikasi teks dan Naif Bayes juga bagus.

— Franck Dernoncourt

$f_1$ $f_n$

hal (f_{1}, . . ., f_{n} | c) = \prod_{saya = 1}^{n} hal (f_{saya} | c)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Ini berarti bahwa ketika saya ingin menggunakan model Naive Bayes untuk mengklasifikasikan contoh baru, probabilitas posterior jauh lebih mudah untuk dikerjakan:

hal (c | f_{1}, . . ., f_{n}) \propto hal (c) hal (f_{1} | c) . . . hal (f_{n} | c)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Tentu saja asumsi independensi ini jarang benar, yang dapat menjelaskan mengapa beberapa orang menyebut model itu sebagai model "Idiot Bayes", tetapi dalam praktiknya model Naif Bayes telah menunjukkan kinerja yang sangat baik, bahkan pada tugas-tugas rumit di mana jelas bahwa yang kuat asumsi independensi salah.

Hingga saat ini kami tidak mengatakan apa-apa tentang distribusi setiap fitur. Dengan kata lain, kita membiarkan tidak terdefinisi. Istilah Multinomial Naive Bayes secara sederhana memberi tahu kita bahwa masing-masing adalah distribusi multinomial, daripada beberapa distribusi lainnya. Ini berfungsi baik untuk data yang dapat dengan mudah diubah menjadi jumlah, seperti jumlah kata dalam teks. $p(f_i|c)$ $p(f_i|c)$

Distribusi yang telah Anda gunakan dengan classifier Naive Bayes Anda adalah pdf Guassian, jadi saya kira Anda bisa menyebutnya sebagai classifier Guassian Naive Bayes.

Singkatnya, pengklasifikasi Naive Bayes adalah istilah umum yang merujuk pada independensi bersyarat dari masing-masing fitur dalam model, sedangkan pengelompokan Multinomial Naive Bayes adalah contoh spesifik dari pengklasifikasi Naive Bayes yang menggunakan distribusi multinomial untuk masing-masing fitur.

Referensi:

Stuart J. Russell dan Peter Norvig. 2003. Kecerdasan Buatan: Pendekatan Modern (2 ed.). Pendidikan Pearson. Lihat hal. 499 untuk referensi "idiot Bayes" serta definisi umum model Naif Bayes dan asumsi independensinya

— jlund3
sumber

Tautan terputus

— ssoler

@ jlund3, Terima kasih atas penjelasannya. Bagaimana kita memasukkan informasi distribusi ke dalam classifier kita? Maksud saya, bagaimana fomula p (c | f1, ..., fn) ∝p (c) p (f1 | c) ... p (fn | c) berubah berdasarkan apakah distribusi Guassian vs multimodal

— David

Terima kasih atas penjelasan singkatnya tetapi saya merekomendasikan buku ini (Stuart J. Russell dan Peter Norvig. 2003. Inteligensi Buatan: Pendekatan Modern (2 ed.)) Dirujuk di atas untuk pengetahuan lebih lanjut tentang NB dan Teknik Kecerdasan Buatan juga ..

— Mirani

jumlah distribusi multinomial tidak independen. lihat pertanyaan saya di sini: datacience.stackexchange.com/questions/32016/...

— Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Multinomial Naif Bayes hanya mengasumsikan distribusi multinomial untuk semua pasangan, yang tampaknya menjadi asumsi yang masuk akal dalam beberapa kasus, yaitu untuk jumlah kata dalam dokumen.

— sjm.majewski
sumber