Kapan pembelajaran yang berlebihan menuntut banyak?

Misalnya, untuk mengklasifikasikan email sebagai spam, apakah bermanfaat - dari perspektif waktu / akurasi - untuk menerapkan pembelajaran yang mendalam (jika mungkin) alih-alih algoritma pembelajaran mesin lainnya? Akankah pembelajaran yang dalam membuat algoritma pembelajaran mesin lainnya seperti Naif Bayes tidak perlu?

Ini semua tentang Pengembalian Investasi . Jika DL "layak dilakukan", itu tidak berlebihan.

Jika biaya menggunakan DL (siklus komputer, penyimpanan, waktu pelatihan) dapat diterima, dan data yang tersedia untuk melatihnya sangat banyak, dan jika keuntungan marjinal dari algoritma alternatif bernilai, maka DL adalah menang.

Tetapi, seperti yang Anda sarankan, jika masalah Anda dapat menerima metode alternatif, terutama jika ia menawarkan sinyal yang cocok dengan metode klasik seperti regresi atau naif Bayes, atau masalah Anda memerlukan penjelasan mengapa batas keputusan berada di tempat itu berada (mis. pohon keputusan), atau jika data Anda tidak memiliki gradien kontinu yang dibutuhkan oleh DL (terutama, CNN), atau data Anda bervariasi dari waktu ke waktu yang akan membutuhkan pelatihan ulang berkala (terutama, pada interval yang tidak dapat diprediksi), maka DL mungkin merupakan ketidakcocokan bagi Anda.

Pembelajaran yang mendalam itu kuat tetapi memang demikian bukan metode yang unggul dari bayesian. Mereka bekerja dengan baik dalam apa yang mereka dirancang untuk dilakukan:

Gunakan pembelajaran yang mendalam:

• Biaya perhitungan jauh lebih murah daripada biaya pengambilan sampel (mis: pemrosesan bahasa alami)
• Jika Anda memiliki masalah yang sangat tidak linier
• Jika Anda ingin menyederhanakan rekayasa fitur
• Jika Anda tidak memiliki distribusi sebelumnya (mis: mengatur bobot ke Gaussian acak). Atau Anda melakukannya tetapi Anda tidak keberatan dengan kerumitannya.
• Jika Anda ingin akurasi untuk kecepatan (pembelajaran dalam lambat)

Gunakan bayesian naif:

• Jika Anda memiliki distribusi sebelumnya yang ingin Anda gunakan
• Jika Anda ingin memperbarui model Anda dengan cepat dan mudah (khususnya model sambungan)
• Jika Anda memiliki fungsi kemungkinan Anda sendiri dan ingin "mengendalikan" bagaimana sebenarnya model itu bekerja
• Jika Anda ingin memodelkan model hierarki
• Jika Anda tidak ingin mengubah parameter
• Jika Anda menginginkan model yang lebih cepat, baik dalam pelatihan maupun eksekusi
• Jika Anda ingin membuat asumsi independensi
• Jika Anda ingin mencegah overfitting (itu model yang sangat sederhana)