Menyesuaikan arsitektur NN secara dinamis: menemukan yang tidak perlu?

Saya memulai perjalanan PhD saya, dan tujuan akhir yang saya tetapkan sebelumnya adalah mengembangkan JST yang akan memantau lingkungan tempat mereka bekerja dan secara dinamis menyesuaikan arsitektur mereka dengan masalah yang dihadapi. Implikasi yang jelas adalah temporalitas data: jika kumpulan data tidak kontinu dan tidak berubah seiring waktu, mengapa menyesuaikan sama sekali?

Pertanyaan besarnya adalah: dengan meningkatnya pembelajaran mendalam baru-baru ini, apakah ini masih merupakan topik yang relevan? Apakah FFNN memiliki peluang untuk menemukan diri mereka ceruk dalam masalah drift konsep?

Saya takut membebani utas dengan terlalu banyak pertanyaan, tetapi pertanyaan ini tidak sepenuhnya di luar topik: Saya mengetahui RNN, tetapi saya memiliki pengalaman yang terbatas (ok, tidak ada, atau murni teoretis) dengan mereka; Saya percaya adaptasi arsitektur dinamis harus menjadi topik yang relevan dalam konteks RNNs. Pertanyaannya adalah, apakah sudah dijawab, dan apakah saya akan menemukan kembali kemudi?

PS Cross-diposting ke MetaOptimize

Cascade-Correlation Neural Networks menyesuaikan struktur mereka dengan menambahkan node tersembunyi selama proses pelatihan, jadi ini mungkin tempat untuk memulai. Sebagian besar pekerjaan lain yang pernah saya lihat yang secara otomatis menyesuaikan jumlah lapisan, jumlah node tersembunyi, dll, dari jaringan saraf menggunakan algoritma evolusioner.

Sayangnya, pekerjaan ini di luar daerah saya sehingga saya tidak bisa merekomendasikan makalah atau referensi tertentu untuk membantu Anda memulai. Saya dapat memberitahu Anda bahwa saya belum melihat pekerjaan yang mencoba untuk bersama-sama mengoptimalkan struktur dan parameter jaringan secara bersamaan dalam komunitas pembelajaran yang mendalam. Bahkan, sebagian besar arsitektur pembelajaran yang dalam didasarkan pada dengan rakus mempelajari satu lapisan pada satu waktu, sehingga menjadikan pembelajaran online jaringan saraf yang dalam sebagai area yang tidak tersentuh (karya Martens dkk. Tentang Pengoptimalan Bebas Goni menjadi pengecualian).

Alasan lain untuk mempertimbangkan mengembangkan pendekatan baru untuk jaringan saraf konstruktif (seperti algoritma CC @alto yang disebutkan) adalah dalam aplikasi di luar statistik . Secara khusus, dalam ilmu saraf teoretis dan ilmu kognitif, jaringan saraf konstruktif sering digunakan karena kesamaan metaforis dengan perkembangan dan neurogenesis. Untuk contoh penggunaan kaskade-korelasi yang banyak untuk ini, lihatlah publikasi Thomas R. Shultz . Sayangnya, pendekatan korelasi kaskade adalah biologis tidak realistis dan jika Anda memiliki tikungan ilmu saraf, perlu untuk mempertimbangkan bagaimana NN baru dengan arsitektur yang dapat disesuaikan dapat digunakan sebagai model pengembangan dan / atau neurogenesis yang lebih baik.