1
Apa sebenarnya mekanisme perhatian?
Mekanisme perhatian telah digunakan dalam berbagai makalah Deep Learning dalam beberapa tahun terakhir. Ilya Sutskever, kepala penelitian di Open AI, dengan antusias memuji mereka: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello di Purdue University telah mengklaim bahwa RNN dan LSTM harus ditinggalkan demi jaringan saraf murni berdasarkan perhatian: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Ini tampaknya berlebihan, tetapi tidak …