Apakah game DQN Atari DeepMind belajar secara simultan?

9

DeepMind menyatakan bahwa jaringan Q-dalam mereka (DQN) mampu untuk terus menyesuaikan perilakunya sambil belajar bermain 49 game Atari.

Setelah mempelajari semua game dengan jaringan syaraf yang sama, apakah agen dapat memainkan semuanya pada level 'manusia super' secara bersamaan (setiap kali secara acak disajikan dengan salah satu game) atau dapatkah itu hanya baik pada satu game pada satu waktu karena beralih perlu belajar kembali?

neural-networks deep-learning deepmind

— Dion
sumber

"Setelah mempelajari semua game dengan jaringan syaraf yang sama". Apakah ini berarti arsitektur NN yang sama ATAU arsitektur yang sama dan satu set bobot?

— Ankur

@Ankur sebenarnya saya tidak yakin - ini pemahaman saya (terbatas) bahwa mereka menggunakan arsitektur yang sama dan tidak mengatur ulang bobot antar gim.

— Dion

2

Switching perlu dipelajari ulang.

Juga, perhatikan bahwa :

Kami menggunakan arsitektur jaringan yang sama, algoritma pembelajaran, dan pengaturan hyperparameters di semua tujuh game, menunjukkan bahwa pendekatan kami cukup kuat untuk bekerja pada berbagai game tanpa memasukkan informasi khusus game. Sementara kami mengevaluasi agen kami pada game nyata dan tidak dimodifikasi, kami membuat satu perubahan pada struktur hadiah game selama pelatihan saja.

dan

jaringan telah mengungguli semua algoritma RL sebelumnya pada enam dari tujuh game yang telah kami coba dan melampaui pemain manusia yang ahli di tiga dari mereka.

— Franck Dernoncourt
sumber

1

Switching membutuhkan pembelajaran ulang, jaringan tidak memiliki satu set bobot yang memungkinkannya untuk memainkan semua game dengan baik. Ini karena masalah lupa bencana.

Namun, pekerjaan terbaru telah dilakukan untuk mengatasi masalah ini:

"Mengatasi bencana lupa dalam jaringan saraf", 2016

Kertas: https://arxiv.org/pdf/1612.00796v1.pdf

— Nix
sumber