Apakah ada masalah pembelajaran terawasi yang jaringan saraf (dalam) jelas tidak bisa mengungguli metode lain?

Saya telah melihat orang-orang telah melakukan banyak upaya pada SVM dan kernel, dan mereka terlihat cukup menarik sebagai pemula dalam Machine Learning. Tetapi jika kita berharap bahwa hampir selalu kita dapat menemukan solusi yang lebih baik dalam hal Jaringan Saraf (dalam), apa arti dari mencoba metode lain di era ini?

Inilah kendala saya tentang topik ini.

1. Kami hanya memikirkan Pembelajaran yang Dibimbing; Regresi, dan Klasifikasi.
2. Keterbacaan Hasil tidak dihitung; hanya Akurasi pada Masalah yang Dibimbing-Pembelajaran yang diperhitungkan.
3. Biaya komputasi tidak dipertimbangkan.
4. Saya tidak mengatakan bahwa metode lain tidak berguna.

Berikut adalah satu alasan teoretis dan dua praktis mengapa seseorang mungkin secara rasional lebih memilih pendekatan non-DNN.

1. Teorema Tanpa Makan Siang Gratis dari Wolpert dan Macready mengatakan

   Kami telah menjuluki hasil terkait teorema NFL karena mereka menunjukkan bahwa jika suatu algoritma berkinerja baik pada kelas masalah tertentu maka itu harus membayar untuk itu dengan kinerja terdegradasi pada set semua masalah yang tersisa.

   Dengan kata lain, tidak ada algoritma tunggal yang mengatur semuanya; Anda harus melakukan tolok ukur.

   Bantahan jelas di sini adalah bahwa Anda biasanya tidak peduli tentang semua masalah yang mungkin, dan pembelajaran yang mendalam tampaknya bekerja dengan baik pada beberapa kelas masalah yang orang lakukan peduli (misalnya, objek pengakuan), dan itu adalah wajar pertama /-satunya pilihan untuk aplikasi lain di domain tersebut.

2. Banyak dari jaringan yang sangat dalam ini membutuhkan banyak data, serta banyak perhitungan, agar sesuai. Jika Anda memiliki (katakanlah) 500 contoh, jaringan dua puluh lapisan tidak akan pernah belajar dengan baik, sementara itu mungkin untuk menyesuaikan model yang jauh lebih sederhana. Ada sejumlah masalah yang mengejutkan di mana tidak layak untuk mengumpulkan banyak data. Di sisi lain, orang mungkin mencoba belajar untuk memecahkan masalah terkait (di mana lebih banyak data tersedia), gunakan sesuatu seperti transfer learning untuk menyesuaikannya dengan tugas spesifik ketersediaan data rendah.

3. Jaringan saraf dalam juga dapat memiliki mode kegagalan yang tidak biasa. Ada beberapa makalah yang menunjukkan bahwa perubahan yang nyaris tidak terlihat oleh manusia dapat menyebabkan jaringan beralih dari mengklasifikasi gambar dengan benar ke kesalahan klasifikasi. (Lihat di sini dan makalah yang menyertai oleh Szegedy et al.) Pendekatan lain mungkin lebih kuat terhadap ini: ada serangan keracunan terhadap SVM (misalnya, ini oleh Biggio, Nelson, dan Laskov), tetapi yang terjadi di kereta api, bukan tes waktu. Sebaliknya, ada batas kinerja yang diketahui (tapi tidak hebat) untuk algoritma tetangga terdekat. Dalam beberapa situasi, Anda mungkin lebih bahagia dengan kinerja keseluruhan yang lebih rendah dengan kemungkinan bencana yang lebih kecil.

Di suatu tempat di daftar putar kuliah ini oleh Geoff Hinton (dari kursus Coursera tentang jaringan saraf), ada segmen di mana ia berbicara tentang dua kelas masalah:

1. Masalah di mana kebisingan adalah fitur utama,
2. Masalah di mana sinyal adalah fitur utama.

Saya ingat penjelasan bahwa sementara jaring saraf berkembang di ruang terakhir ini, metode statistik tradisional seringkali lebih cocok untuk yang pertama. Menganalisis foto-foto digital beresolusi tinggi dari hal-hal aktual di dunia, tempat di mana jaring konvolusional yang unggul unggul, jelas merupakan yang terakhir.

Di sisi lain, ketika kebisingan adalah fitur dominan, misalnya, dalam studi kasus kontrol medis dengan 50 kasus dan 50 kontrol, metode statistik tradisional mungkin lebih cocok untuk masalah tersebut.

Jika ada yang menemukan video itu, beri komentar dan saya akan memperbarui.

Dua variabel berkorelasi yang disempurnakan secara linear. Bisakah jaringan dalam dengan 1 juta lapisan tersembunyi dan 2 triliun neutron mengalahkan regresi linier sederhana?

Diedit

Dalam pengalaman saya, pengumpulan sampel lebih mahal daripada perhitungan. Maksud saya, kita bisa menyewa beberapa mesin Amazon, menjalankan pelatihan pembelajaran yang dalam dan kemudian kembali beberapa hari kemudian. Biaya di bidang saya adalah sekitar $ 200 USD. Biayanya minimal. Rekan kerja saya menghasilkan lebih dari itu dalam sehari.

Pengumpulan sampel umumnya membutuhkan pengetahuan domain dan peralatan khusus. Pembelajaran mendalam hanya cocok untuk masalah dengan set data akses yang murah dan mudah, seperti pemrosesan bahasa alami, pemrosesan gambar, dan apa pun yang dapat Anda hilangkan dari Internet.