Apa topik penelitian 'panas' terbaru untuk pembelajaran mendalam dan AI?


10

Saya melakukan tesis Master saya tentang Deep Generative Models dan saya sedang mencari subjek baru.

T: Apa topik penelitian "terpanas" yang mendapat banyak perhatian dari komunitas pembelajaran mendalam belakangan ini?

Beberapa klarifikasi:

  • Saya memang melihat melalui pertanyaan serupa dan tidak satupun dari mereka menjawab pertanyaan saya.
  • Saya berasal dari latar belakang matematika murni, saya hanya beralih ke pembelajaran mendalam setahun yang lalu, dan penelitian saya tentang model generatif sebagian besar teoretis. Yang berarti, sebagian besar pekerjaan saya berputar di sekitar model probabilistik terstruktur, dan perkiraan kesimpulan. Yang mengatakan, saya belum menjelajahi aplikasi pembelajaran dalam dunia nyata.
  • Saya mengerjakan pekerjaan rumah saya sebelum mengajukan pertanyaan. Tujuan saya adalah untuk mendapatkan masukan SE tentang masalah ini dan melihat apa yang sedang dikerjakan orang.

1
NAS Net sangat keren. Mereka menggunakan jaringan saraf untuk mengoptimalkan struktur jaringan netral
keiv.fly

Saya membiarkan terbuka karena OP memang meninjau pertanyaan serupa dan tidak menemukan jawaban. Yang mengatakan (tanpa baru-baru ini meninjau duplikat potensial) akan lebih baik untuk mencoba membedakan pertanyaan ini sebanyak mungkin dari pertanyaan sebelumnya.
DukeZhou

Jawaban:


7

Topik hangat hari ini mungkin menjadi abu yang dingin dan basah di masa depan. Sebagai contoh, kecepatan konvergensi pendekatan CNN dan LSTM, terutama dalam kombinasi, telah mengalihkan perhatian yang cukup jauh dari desain RNN dasar.

Demikian pula, topik dingin hari ini mungkin adalah bara api masa depan yang membara. Tentu saja, beberapa topik dingin akan tetap dingin. Sweet spot mungkin untuk mengidentifikasi mereka yang menjadi lebih hangat dan cenderung menjadi pembangun berkelanjutan teknologi masa depan.

Jaringan Perhatian Sisa

Jaringan perhatian residual, seperti jaringan LSTM, merupakan peningkatan dari RNN menggunakan pendekatan yang berbeda. Karena jaringan perhatian dirancang untuk melestarikan sumber daya, mereka dapat melakukan konvergensi lebih cepat atau dengan sedikit permintaan pada perangkat keras dan jaringan untuk mendukung eksekusi paralel.

Pengembangan Otomatis Model Non-Kartesius

Penelitian otomatisasi pemodelan adalah kunci bagi banyak aplikasi AI. Beberapa algoritma yang dikembangkan tidak hanya mengekstraksi tensor fitur (array, matriks, kubus, dan hiper-kubus), tetapi mengembangkan model grafik, terarah atau asosiatif, dengan atau tanpa siklus diizinkan.

Topologi Sinyal Yang Mendukung Kesetimbangan

Banyak yang mengabaikan pentingnya GAN, bukan karena mereka dapat melakukan hal-hal menarik dengan gambar tetapi karena cara mereka menyimpang dari topologi sederhana jalur sinyal di mana konvergensi pada serangkaian parameter terlatih dicapai melalui array satu dimensi dari lapisan dan blok lapisan.

Komponen diskriminatif dan generatif dalam desain GAN dijelaskan secara rinci dalam pertanyaan AI Stack Exchange lain tentang * Memahami GAN Loss FUnction . Meskipun generasi gambar dari pendekatan GAN dan anak-anak konseptualnya menunjukkan kemampuan baru dalam ruang jaringan buatan, luasnya signifikansi multi-jaringan ini mungkin tidak segera jelas. Ini bukan tumpukan dalam lapisan, tetapi tumpukan dua jaringan yang dalam di topologi angka-delapan, secara konseptual seperti strip Möbius.

Topologi ini menciptakan keseimbangan antara dua jaringan, generatif (G) dan diskriminatif (D). Desainernya menyebutnya hubungan permusuhan karena G dan D memainkan peran yang berlawanan. Namun, tindakan mereka dalam sistem sebenarnya kolaboratif, menciptakan keseimbangan yang mirip dengan keseimbangan kimia atau simbiosis dalam biologi, sehingga tujuan tertentu tercapai. Ini mungkin mengungkapkan arah yang paling menjanjikan di AI hari ini.

Merancang topologi sinyal yang mendukung bentuk tambahan kolaborasi dan simbiosis antara jaringan, di mana setiap jaringan adalah komponen yang mempelajari gulungannya dalam hubungannya dengan jaringan komponen lain, sehingga sistem agregat mempelajari fungsinya dapat mensintesis bentuk kecerdasan buatan yang tidak bisa dilakukan oleh DNN.

Sistem berbasis aturan dan jaringan dalam adalah satu dimensi dalam hal aliran sinyal. Sendiri mungkin tidak pernah mendekati fitur yang paling menonjol dari otak manusia.

Pemrosesan Paralel Menggunakan GPU sebagai DSP

Implementasi VLSI dari jaringan spiking adalah penting, dan sekarang ada implementasi seperti https://github.com/Hananel-Hazan/bindsnet yang memanfaatkan akselerasi perangkat keras GPU untuk menyelidiki mereka tanpa akses ke chip VLSI yang dikembangkan oleh perusahaan besar.

Pengenalan Bicara dan Sintesis untuk TTS End-to-End

Munculnya keunggulan baru-baru ini dalam sintesis menggunakan sistem seperti Google WaveNet telah membuka pintu untuk aplikasi TTS (teks ke suara) yang lebih akurat, sehingga mungkin saat yang tepat untuk menjadi ahli dalam rekaman suara untuk digunakan dalam set contoh pelatihan tetapi waktu yang buruk untuk memulai rumah produksi pidato khusus menggunakan speaker langsung.

Kendaraan Otomatis

Kendaraan otomatis dari berbagai jenis memerlukan ahli dalam fisika kendaraan, manufaktur otomotif, aeronautika, dan produk konsumen untuk berbagai jenis kendaraan dengan insentif ekonomi dan keselamatan yang kuat yang menggerakkan semi-otomatisasi dan otomatisasi penuh.

  • Pendarat Mars
  • Drone konsumen
  • Drone industri
  • Drone militer
  • Pesawat penumpang
  • Mobil penumpang
  • Limusin
  • Kereta
  • Kursi roda
  • Kendaraan pengiriman
  • Distribusi makanan otomatis
  • Robot perbaikan instalasi nuklir
  • Robot perbaikan distribusi listrik

Ringkasan

Mungkin sulit untuk mengetahui terlebih dahulu apa teknologi panas dalam AI yang akan tetap dominan dalam lima tahun atau teknologi pemanasan mana yang akan sangat panas saat itu, tetapi teknologi di atas adalah teknologi solid yang menunjukkan janji awal yang signifikan dan yang memiliki bisnis tinggi, tuntutan industri, dan konsumen.


1

Ya, tentu ada banyak bidang di mana Anda dapat berkontribusi dalam penelitian. Karena Anda mengatakan Anda telah melakukan Tesis Master dalam model Generatif mendalam, saya menganggap Anda nyaman dalam Pembelajaran Mesin dan Mendalam.

Epidemiologi Digital adalah salah satu bidang di mana Anda dapat menerapkan pembelajaran mendalam. Ini masih bidang yang relatif baru dibandingkan dengan cabang biologi komputasi lainnya. Contohnya adalah untuk melihat dampak dari catatan digital online pada prediksi dan prevalensi lebih lanjut dari penyakit.

Catatan online semacam itu dapat diterima dari berbagai mesin pencari, situs media sosial, dan kadang-kadang lembaga pemerintah. Sebagai Contoh, Anda dapat melihat di sini contoh istilah pencarian "Kanker Kulit" dan catatan yang sesuai menunjukkan minat istilah ini di Globe, data ini dapat digunakan untuk menemukan Hipotesis baru. Sebagai contoh, jika data menunjukkan bahwa kita lebih tertarik dari wilayah tertentu di dunia / negara, itu mungkin menunjukkan bahwa penyakit spesifik lebih umum di wilayah / bagian / negara di dunia itu. Hipotesis serupa dapat dibangun, ditarik dan diuji. Dan yang pasti, pembelajaran yang mendalam dapat meningkatkan akurasi model tradisional yang digunakan dalam validasi Hipotesis tersebut.

Bidang penelitian lain yang menarik adalah perbandingan Jaringan Saraf Jangka Panjang Jangka Panjang dengan model deret waktu tradisional. Saya tidak percaya ada penelitian yang matang di bidang ini. Mungkin Anda bisa mulai dari blog yang bagus ini di sini .

Pemrosesan sinyal mungkin bidang lain yang sangat menarik, dan juga sangat praktis untuk membangun dan memvalidasi teori di atas model Deep Learning. Namun, Matematika dalam Pemrosesan Sinyal bisa sangat sulit didapat. Namun, semua opsi ini mengharuskan Anda bekerja dalam tim dengan orang-orang dari domain tertentu. Itu jika Anda ingin menghasilkan penelitian berkualitas tinggi.

Bidang lain mungkin NLP, terutama kasus terjemahan bahasa dari bahasa Hindi ke Bahasa Urdu atau Persia, pemasaran digital online, ilmu perilaku, manufaktur dan investasi. Bidang-bidang khusus penelitian mungkin ditingkatkan lebih lanjut jika Anda mengenal para ahli dari bidang ini.


Terima kasih atas jawaban Anda. Saran bagus! Faktanya, saya telah bekerja secara singkat dengan LSTM. Mereka dapat digunakan untuk menghasilkan gambar dengan dependensi lama di PixelRNN. Sedangkan untuk pemrosesan sinyal, saya memang berasal dari latar belakang matematika sehingga sebenarnya secangkir teh saya.
Achraf Oussidi

2
Selamat datang di AI dan terima kasih telah berkontribusi. Kami memiliki beberapa pertanyaan sebelumnya tentang penggunaan metode AI saat ini di bidang medis. (Terlalu banyak untuk disebutkan di sini, tetapi jika tertarik pada bidang beberapa di antaranya, cukup cari "medis" di tumpukan ini.)
DukeZhou

@DukeZhou Terima kasih telah memberikan pengetahuan yang mendalam. Selalu selamatkan peradaban manusia. Kapten kerja yang baik.
quintumnia
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.