Model generatif vs diskriminatif (dalam konteks Bayesian)

22

Apa perbedaan antara model generatif dan diskriminatif (diskriminan) (dalam konteks pembelajaran dan inferensi Bayesian)?

dan apa yang berkaitan dengan prediksi, teori keputusan atau pembelajaran tanpa pengawasan?

bayesian predictive-models unsupervised-learning

— nkint
sumber

Maaf, saya tidak mengerti apa yang Anda maksud dengan kalimat kedua. Apakah Anda akan mencoba dan menulis ulang?

— csgillespie

ohu, saya baru saja bergabung dengan dunia statistik dan pembelajaran mesin, maaf saya tidak tahu bagaimana menghubungkan pembelajaran tanpa pengawasan dengan teori keputusan. tapi aku masih belajar!

— nkint

1

Saya hanya bingung bagaimana itu cocok dengan pertanyaan itu. Misalnya, kata-kata "prediksi", "teori keputusan" atau "tidak diawasi" tidak muncul dalam jawaban yang diterima

— csgillespie

35

Keduanya digunakan dalam pembelajaran terawasi di mana Anda ingin mempelajari aturan yang memetakan input x ke output y, diberikan sejumlah contoh pelatihan dari formulir . Model generatif (misalnya, Bayes naif) secara eksplisit memodelkan distribusi probabilitas gabungan dan kemudian menggunakan aturan Bayes untuk menghitung . Di sisi lain, model diskriminatif (misalnya, regresi logistik) langsung memodelkan . $\{(x_i,y_i)\}$ $p(x,y)$ $p(y|x)$ $p(y|x)$

Beberapa orang berpendapat bahwa model diskriminatif lebih baik dalam arti langsung memodelkan jumlah yang Anda pedulikan , jadi Anda tidak perlu menghabiskan upaya pemodelan Anda pada input x (Anda perlu menghitung juga dalam model generatif). Namun, model generatif memiliki kelebihannya sendiri seperti kemampuan menangani data yang hilang, dll. Untuk beberapa perbandingan, Anda dapat melihat makalah ini: Pada pengelompokan Diskriminatif vs. Generatif: Perbandingan regresi logistik dan Bayes naif $(y)$ $p(x|y)$

Mungkin ada kasus ketika satu model lebih baik dari yang lain (misalnya, model diskriminatif biasanya cenderung melakukan lebih baik jika Anda memiliki banyak data; model generatif mungkin lebih baik jika Anda memiliki beberapa data tambahan yang tidak berlabel). Bahkan, ada model hybird juga yang mencoba menghadirkan yang terbaik dari kedua dunia. Lihat makalah ini sebagai contoh: Hibrida berprinsip model generatif dan diskriminatif

— ebony1
sumber

1

Jawaban bagus. Sehubungan dengan membandingkan contoh kanonik dari pengklasifikasi diskriminatif dan generatif (masing-masing regresi logistik dan naif Gaussian), saya menemukan bab buku ini sangat mudah diakses daripada Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf

— Josh Hemann

3

Satu tambahan untuk jawaban di atas:

Karena diskriminan hanya peduli pada P (Y | X), sedangkan generatif hanya peduli pada P (X, Y) dan P (X), untuk memprediksi P (Y | X) dengan baik, model generatif memiliki tingkat kebebasan yang lebih rendah. dalam model dibandingkan dengan model diskriminan. Jadi model generatif lebih kuat , lebih rentan terhadap overfitting, sedangkan diskriminan adalah sebaliknya.

Itu menjelaskan jawaban di atas

Mungkin ada kasus ketika satu model lebih baik dari yang lain (misalnya, model diskriminatif biasanya cenderung melakukan lebih baik jika Anda memiliki banyak data; model generatif mungkin lebih baik jika Anda memiliki beberapa data tambahan yang tidak berlabel).

— Kecerdasan Buatan
sumber

2

Bisakah Anda menjelaskan apa yang Anda katakan tentang fakta bahwa model generatif memiliki tingkat kebebasan yang lebih sedikit? Bukti? Tautan? Terima kasih

— Patrick