Apa perbedaan antara episode dan zaman dalam pembelajaran Q mendalam?

Saya mencoba memahami makalah terkenal "Bermain Atari dengan Pembelajaran Penguatan Jauh" ( pdf ). Saya tidak jelas tentang perbedaan antara zaman dan episode . Dalam algoritma , loop luar lebih dari episode , sedangkan pada gambar sumbu x diberi label zaman . Dalam konteks pembelajaran penguatan, saya tidak jelas apa artinya zaman. Apakah zaman merupakan loop luar di sekitar loop episode? $1$$2$

• satu episode = satu urutan negara, tindakan dan penghargaan, yang berakhir dengan keadaan terminal. Misalnya, memainkan seluruh permainan dapat dianggap sebagai satu episode, status terminal tercapai ketika satu pemain kalah / menang / seri. Kadang-kadang, seseorang mungkin lebih suka mendefinisikan satu episode sebagai beberapa game ( contoh : "setiap episode adalah beberapa lusin game, karena game naik ke skor 21 untuk salah satu pemain").
• satu zaman = satu umpan maju dan satu umpan mundur dari semua contoh pelatihan, dalam terminologi jaringan saraf.

Dalam makalah yang Anda sebutkan, mereka tampaknya lebih fleksibel mengenai makna zaman, karena mereka hanya mendefinisikan satu zaman sebagai sejumlah pembaruan berat. Karena itu Anda dapat melihat satu zaman sebagai loop luar di sekitar loop episode, seperti yang Anda sebutkan dalam pertanyaan.