Atas saran OP rcpinto saya mengonversi komentar tentang melihat "sekitar setengah lusin makalah yang menindaklanjuti karya Graves et al. Yang telah menghasilkan hasil kaliber" dan akan memberikan beberapa tautan. Perlu diingat bahwa ini hanya menjawab bagian dari pertanyaan yang berkaitan dengan NTM, bukan Google DeepMind itu sendiri, ditambah lagi saya masih belajar tali dalam pembelajaran mesin, jadi beberapa materi dalam makalah ini ada di kepala saya; Saya berhasil memahami banyak materi dalam makalah asli Graves et al. {1] dan saya hampir memiliki kode NTM buatan sendiri untuk diuji. Saya juga setidaknya membaca sekilas kertas-kertas berikut selama beberapa bulan terakhir; mereka tidak mereplikasi studi NTM dengan cara ilmiah yang ketat, tetapi banyak dari hasil eksperimen mereka cenderung mendukung aslinya setidaknya secara tangensial:
• Dalam tulisan ini tentang versi varian pengalamatan NTM, Gulcehere, et al. jangan mencoba mereplikasi tes Graves et al., tetapi seperti tim DeepMind, tes ini menunjukkan hasil yang jauh lebih baik untuk NTM asli dan beberapa varian dibandingkan LSTM berulang yang biasa. Mereka menggunakan 10.000 sampel pelatihan dari set data Tanya Jawab Facebook, daripada N-gram Graves dkk. dioperasikan di kertas mereka, jadi itu bukan replikasi dalam arti ketat. Namun mereka berhasil mendapatkan versi dari NTM asli dan beberapa varian berjalan dan berjalan, ditambah mencatat besarnya peningkatan kinerja yang sama. 2
• Tidak seperti NTM asli, penelitian ini menguji versi pembelajaran penguatan yang tidak dapat dibedakan; mungkin itulah sebabnya mereka tidak dapat menyelesaikan beberapa tast seperti pemrograman, seperti Repeat-Copy, kecuali controller tidak terbatas untuk bergerak maju. Namun hasilnya cukup baik untuk memberikan dukungan pada gagasan NTM. Revisi yang lebih baru dari makalah mereka tampaknya tersedia, yang belum saya baca, jadi mungkin beberapa masalah varian mereka telah terpecahkan. 3
• Alih-alih menguji rasa asli NTM terhadap jaring saraf biasa seperti LSTM, makalah ini mengadu itu dengan beberapa struktur memori NTM yang lebih maju. Mereka mendapat hasil yang baik pada jenis tugas yang sama seperti pemrograman yang Graves et al. diuji, tapi saya tidak berpikir mereka menggunakan dataset yang sama (sulit untuk mengetahui dari cara studi mereka ditulis hanya set data apa yang mereka operasikan). 4
• Pada p. 8 dari studi ini , sebuah NTM jelas mengungguli beberapa skema berbasis LSTM, umpan maju dan tetangga terdekat pada dataset pengenalan karakter Omniglot. Pendekatan alternatif untuk memori eksternal yang dibuat oleh penulis jelas mengalahkan itu, tetapi masih jelas berkinerja baik. Penulis tampaknya milik tim saingan di Google, sehingga mungkin menjadi masalah ketika menilai replikasi. 5
• Pada p. 2 penulis ini melaporkan mendapatkan generalisasi yang lebih baik pada "urutan yang sangat besar" dalam uji tugas salin, menggunakan jaringan NTM yang jauh lebih kecil mereka berevolusi dengan algoritma NEAT genetik, yang secara dinamis menumbuhkan topologi. 6
NTM cukup baru sehingga belum banyak waktu untuk mereplikasi penelitian asli dengan ketat, saya kira. Segelintir makalah yang saya skim selama musim panas, bagaimanapun, tampaknya mendukung hasil eksperimen mereka; Saya belum melihat laporan apa pun kecuali kinerja luar biasa. Tentu saja saya memiliki bias ketersediaan, karena saya hanya membaca pdf yang dapat saya temukan dengan mudah di pencarian Internet yang ceroboh. Dari sampel kecil itu tampaknya sebagian besar penelitian tindak lanjut telah difokuskan pada perluasan konsep, bukan replikasi, yang akan menjelaskan kurangnya data keterulangan. Saya harap itu membantu.
1 Graves, Alex; Wayne, Greg dan Danihelka, Ivo, 2014, "Neural Turing Machines," diterbitkan 10 Desember 2014.
2 Gulcehre, Caglar; Chandar, Sarath; Choy, Kyunghyun dan Bengio, Yoshua, 2016, "Mesin Dynamic Neural Turing dengan Skema Pengalamatan Lembut dan Keras," diterbitkan 30 Juni 2016.
3 Zaremba, Wojciech dan Sutskever, Ilya, 2015, "Reinforcement Learning Neural Turing Machines," diterbitkan 4 Mei 2015.
4 Zhang; Wei; Yu, Yang dan Zhou, Bowen, 2015, "Memori Terstruktur untuk Mesin Neural Turing," diterbitkan 25 Oktober 2015.
5 Santoro, Adam; Bartunov, Sergey; Botvinick, Matthew; Wierstra, Daan, dan Lillicrap, Timothy, 2016, "Pembelajaran Satu Foto dengan Memori-Augmented Neural Networks," diterbitkan 19 Mei 2016.
6 Boll Greve, Rasmus; Jacobsen, Emil Juul dan Sebastian Risi, tanggal tidak diketahui, "Evolving Neural Turing Machines." Tidak ada penerbit yang terdaftar
Semua kecuali (mungkin) Boll Greve et al. diterbitkan di Cornell Univeristy Library arXiv.org Repository: Ithaca, New York.