Mengapa tidak ada yang menggunakan klasifikasi Bayesian multinomial Naive Bayes?

Jadi dalam pemodelan teks (tanpa pengawasan), Latent Dirichlet Allocation (LDA) adalah versi Bayesian dari Probabilistic Latent Semantic Analysis (PLSA). Intinya, LDA = PLSA + Dirichlet sebelum parameternya. Pemahaman saya adalah bahwa LDA sekarang menjadi algoritma referensi dan diimplementasikan dalam berbagai paket, sementara PLSA seharusnya tidak digunakan lagi.

Tetapi dalam kategorisasi teks (diawasi), kita bisa melakukan hal yang persis sama untuk classifier Naive Bayes multinomial dan menempatkan Dirichlet di atas parameter. Tapi saya tidak berpikir saya pernah melihat ada yang melakukan itu, dan versi "estimasi titik" dari Multinomial Naive Bayes tampaknya adalah versi yang diterapkan di sebagian besar paket. Apakah ada alasan untuk itu?

Berikut ini adalah makalah yang bagus yang membahas beberapa kekurangan 'sistemik' dari multinomial Naive Bayes (MNB). Idenya adalah bahwa Anda dapat meningkatkan kinerja MNB melalui beberapa penyesuaian. Dan mereka menyebutkan menggunakan prich Dirichlet (seragam).

Secara keseluruhan, jika Anda tertarik pada MNB dan belum membaca makalah ini, saya akan sangat menyarankan untuk melakukannya.

Saya juga menemukan tesis MSc yang menyertai oleh orang / orang yang sama tetapi belum membacanya sendiri. Anda bisa memeriksanya.

Saya menduga sebagian besar implementasi NB memungkinkan untuk estimasi probabilitas bersyarat dengan koreksi Laplace , yang memberikan solusi MAP untuk pengklasifikasi NB Bayesian (dengan sebelumnya Dirichlet tertentu). Sebagaimana @Zhubarb (+1) tunjukkan, perawatan Bayesian dari pengklasifikasi NB telah diturunkan dan diimplementasikan (tesis / makalah Rennie layak dibaca). Namun, asumsi independensi NB hampir selalu salah, dalam hal membuat model lebih bergantung pada asumsi tersebut (melalui perawatan Bayesian penuh) mungkin bukan hal yang baik untuk dilakukan.

Saya tidak percaya apa yang Anda gambarkan itu benar. Model probabilistik untuk LDA dan MNB berbeda.

Satu perbedaan utama antara keduanya adalah bahwa dalam model generatif untuk LDA, ketika sebuah kata diambil, pertama-tama topik untuk kata itu dipilih, dan kemudian sebuah kata dari distribusi topik tersebut dipilih. Iow setiap kata dalam dokumen dapat diambil dari topik yang berbeda.

Dalam model generatif untuk MNB, dokumen tersebut diberikan satu kelas dan semua kata dalam dokumen tersebut diambil dari distribusi (yang sama) untuk kelas itu.