Posting ini telah banyak diperbarui. Di atas, Anda dapat melihat pembaruan tautan. Di bawah, variasi pada jawaban awal. Untuk versi singkatnya: keberhasilan jaringan saraf konvolusional dan pembelajaran mendalam terlihat seperti semacam revolusi Galilea. Untuk sudut pandang praktis, pemrosesan sinyal klasik atau visi komputer sudah mati ... asalkan Anda memiliki cukup data berlabel, tidak terlalu peduli dengan kegagalan klasifikasi yang jelas ( cacat yang dalam ), memiliki energi tak terbatas untuk menjalankan tes tanpa memikirkan jejak karbon , dan jangan ganggu penjelasan rasional. Bagi yang lain, ini membuat kami memikirkan kembali semua yang kami lakukan sebelumnya: ekstraksi fitur, optimisasi (lih. Kolega saya J.-C. Pekerjaan pesquet pada Struktur Jaringan Neural Dalam Memecahkan Ketimpangan Ketimpangan Variasional), invarian, kuantifikasi, dll. Dan penelitian yang sangat menarik muncul dari itu, semoga mengejar dengan prinsip-prinsip yang beralasan kuat dan kinerja serupa.
Tautan yang diperbarui:
Kami memperkenalkan contoh-contoh permusuhan alami - contoh dunia nyata, tidak dimodifikasi, dan terjadi secara alami yang menyebabkan akurasi penggolong menurun secara signifikan. Kami mengumpulkan 7.500 contoh permusuhan alami dan melepaskannya dalam rangkaian uji klasifikasi ImageNet yang kami sebut ImageNet-A. Dataset ini berfungsi sebagai cara baru untuk mengukur kekokohan classifier. Seperti contoh permusuhan l_p, contoh-contoh ImageNet-A berhasil ditransfer ke pengklasifikasi kotak hitam atau gaib. Misalnya, pada ImageNet-A, DenseNet-121 memperoleh akurasi sekitar 2%, penurunan akurasi sekitar 90%. Memulihkan akurasi ini tidak sederhana karena contoh-contoh ImageNet-A mengeksploitasi kelemahan yang dalam pada pengklasifikasi saat ini termasuk terlalu mengandalkan warna, tekstur, dan isyarat latar belakang. Kami mengamati bahwa teknik pelatihan populer untuk meningkatkan ketahanan tidak banyak berpengaruh, tetapi kami menunjukkan bahwa beberapa perubahan arsitektur dapat meningkatkan ketahanan terhadap contoh permusuhan alami. Penelitian di masa depan diperlukan untuk memungkinkan generalisasi yang kuat ke set uji ImageNet keras ini.
- 2019/05/03: Pembelajaran mendalam: batas akhir untuk pemrosesan sinyal dan analisis deret waktu? "Dalam artikel ini, saya ingin menunjukkan beberapa area di mana sinyal atau rangkaian waktu sangat penting"
- 2018/04/23: Saya baru saja kembali dari konferensi internasional tahunan tentang akustik, pidato dan pemrosesan sinyal, ICASSP 2018 . Saya kagum dengan jumlah makalah yang agaknya bergantung pada Pembelajaran yang mendalam, Deep Networks, dll. Dua dari empat permohonan (oleh Alex Acero dan Yann LeCun) dikhususkan untuk topik seperti itu. Pada saat yang sama, sebagian besar peneliti yang saya temui agak bercanda tentang itu ("Maaf, poster saya ada di bank filter, bukan di Deep Learning", "Saya tidak suka itu, saya punya dataset kecil"), atau bertanya-tanya tentang mendapatkan 0,5% pada tantangan besar, dan kehilangan minat dalam pemodelan fisika atau statistik.
- 2018/01/14: Bisakah Jaring Yang Dalam Melihat Kucing? , dari "kucing abstrak", hingga "kucing terbaik" terbalik, digambar, dll. dan entah bagaimana hasilnya mengejutkan pada sketsa
- 2017/11/02: menambahkan referensi ke hamburan transformasi / jaringan
- 2017/10/21: Tinjauan Jaringan Syaraf Konvolusional untuk Masalah Inverse dalam Pencitraan
- Pembelajaran Mendalam dan Penerapannya pada Pemrosesan Sinyal dan Informasi , Majalah Pemrosesan Sinyal IEEE, Januari 2011
Referensi pembelajaran mendalam "loncatan" pada pemrosesan sinyal / gambar standar dapat ditemukan di bagian bawah. Michael Elad baru saja menulis Deep, Deep Trouble: Dampak Deep Learning pada Pemrosesan Gambar, Matematika, dan Kemanusiaan (SIAM News, 2017/05), kutipan:
Kemudian jaringan saraf tiba-tiba kembali, dan dengan sepenuh hati.
Tribun ini menarik, karena menunjukkan pergeseran dari "pemrosesan gambar" tradisional, mencoba memodelkan / memahami data, ke bidang kebenaran, tanpa begitu banyak wawasan.
Domain ini berkembang cukup cepat. Ini tidak berarti itu berkembang dalam arah yang disengaja atau konstan. Tidak benar atau salah. Tapi pagi ini, saya mendengar pepatah berikut (atau apakah ini lelucon?):
algoritma yang buruk dengan sejumlah besar data dapat melakukan lebih baik daripada algoritma yang cerdas dengan data pauce .
Ini adalah usaha saya yang sangat singkat: pembelajaran yang mendalam dapat memberikan hasil yang canggih, tetapi orang tidak selalu mengerti mengapa , dan bagian dari pekerjaan ilmuwan kami tetap menjelaskan mengapa sesuatu bekerja, apa isi dari sepotong data , dll.
Pembelajaran mendalam membutuhkan basis data yang sangat luas. Setiap kali Anda mengerjakan kerajinan pada gambar tunggal atau tunggal (yaitu tanpa basis data yang besar di belakang), terutama di tempat-tempat yang tidak mungkin menghasilkan "gambar tag berbasis pengguna gratis" (dalam set komplementer dari set " kucing lucu bermain game dan wajah ") , Anda dapat tetap berpegang pada pemrosesan gambar tradisional untuk sementara waktu, dan untuk keuntungan. Tweet baru - baru ini merangkum bahwa:
(banyak) data berlabel data (tanpa ada vars yang hilang) persyaratan adalah pemecah kesepakatan (& tidak perlu) untuk banyak domain
Jika mereka terbunuh (yang saya ragu dengan pemberitahuan jangka pendek), mereka belum mati. Jadi setiap keterampilan yang Anda peroleh dalam pemrosesan sinyal, analisis gambar, visi komputer akan membantu Anda di masa depan. Ini misalnya dibahas dalam posting blog: Apakah Kita Lupa tentang Geometri dalam Penglihatan Komputer? oleh Alex Kendall:
Pembelajaran mendalam telah merevolusi visi komputer. Saat ini, tidak ada banyak masalah di mana solusi berkinerja terbaik tidak didasarkan pada model pembelajaran mendalam end-to-end. Secara khusus, jaringan saraf convolutional sangat populer karena mereka cenderung bekerja dengan cukup baik di luar kotak. Namun, model ini sebagian besar kotak hitam besar. Ada banyak hal yang tidak kita mengerti tentang mereka.
Contoh konkret dapat berupa: pasangan gambar yang sangat gelap (mis. Pengawasan) dari lokasi yang sama, perlu dievaluasi jika salah satunya berisi perubahan spesifik yang harus dideteksi, berpotensi menjadi masalah pemrosesan gambar tradisional, lebih dari sekadar Deep Learning (mulai hari ini).
Di sisi lain, sesukses Deep Learning dalam skala besar, ini dapat menyebabkan kesalahan klasifikasi sejumlah kecil data, yang mungkin tidak berbahaya "rata-rata" untuk beberapa aplikasi. Dua gambar yang hanya sedikit berbeda dengan mata manusia dapat diklasifikasikan secara berbeda melalui DL. Atau gambar acak dapat diatur ke kelas tertentu. Lihat misalnya Jaringan saraf dalam mudah tertipu: Prediksi kepercayaan tinggi untuk gambar yang tidak dapat dikenali (Nguyen A, Yosinski J, Clune J. Proc. Visi dan Pengenalan Pola Komputer 2015), atau Apakah Pembelajaran Dalam Memiliki Kelemahan Yang Dalam? , tentang negatif permusuhan:
Jaringan mungkin salah mengklasifikasikan gambar setelah para peneliti menerapkan gangguan tertentu yang tak terlihat. Gangguan ditemukan dengan menyesuaikan nilai piksel untuk memaksimalkan kesalahan prediksi.
Dengan segala hormat terhadap "Pembelajaran Dalam", pikirkan tentang "produksi massal menanggapi perilaku yang terdaftar, diketahui, dapat divalidasi secara massal atau yang diharapkan" versus "kerajinan tunggal". Tidak ada yang lebih baik (belum) dalam skala indeks tunggal. Keduanya mungkin harus hidup berdampingan untuk sementara waktu.
Namun, pembelajaran yang mendalam meliputi banyak bidang baru, seperti dijelaskan dalam referensi di bawah ini.
Untungnya, beberapa orang berusaha menemukan alasan matematika di balik pembelajaran mendalam, contohnya adalah menyebarkan jaringan atau transformasi yang diusulkan oleh Stéphane Mallat dan rekan penulisnya, lihat situs ENS untuk menyebarkan . Analisis harmonik dan operator non-linear, fungsi Lipschitz, terjemahan / invarian rotasi, lebih baik untuk orang pemrosesan sinyal rata-rata. Lihat misalnya Memahami Deep Convolutional Networks .
