Bagaimana jaringan saraf berulang dapat digunakan untuk klasifikasi urutan?

RNN dapat digunakan untuk prediksi, atau pemetaan urutan ke urutan. Tetapi bagaimana RNN dapat digunakan untuk klasifikasi? Maksud saya, kami memberikan seluruh label satu urutan.

Seseorang dapat menggunakan RNN untuk memetakan banyak input ke satu input (label), seperti yang digambarkan oleh figur ( sumber ) ini:

Setiap persegi panjang adalah vektor dan panah mewakili fungsi (mis. Matriks berlipat ganda). Vektor input berwarna merah, vektor output berwarna biru dan hijau memegang status RNN (lebih lanjut tentang ini segera). Dari kiri ke kanan: (1) Mode pemrosesan vanili tanpa RNN, dari input berukuran tetap ke output berukuran tetap (mis. Klasifikasi gambar). (2) Urutan output (mis. Teks gambar mengambil gambar dan menghasilkan kalimat kata-kata). (3) Input urutan (misalnya analisis sentimen di mana kalimat yang diberikan diklasifikasikan sebagai mengekspresikan sentimen positif atau negatif). (4) Urutan input dan output urutan (misalnya Terjemahan Mesin: RNN membaca kalimat dalam bahasa Inggris dan kemudian mengeluarkan kalimat dalam bahasa Prancis). (5) Input dan output urutan yang disinkronkan (misalnya klasifikasi video di mana kami ingin memberi label pada setiap frame video).

Dalam kasus RNN sederhana, masukkan seluruh urutan ke jaringan Anda dan kemudian label kelas output pada elemen urutan terakhir (lihat makalah ini dan referensi di sana untuk contoh awal pendekatan ini). Dalam fase pelatihan kita dapat melakukan backpropogate kesalahan waktu dari elemen urutan terakhir ke awal urutan. Secara umum ini tidak berbeda dari masalah pelabelan urutan RNN, di mana kita perlu menetapkan label hanya untuk beberapa elemen dari urutan (atau semua elemen lainnya diberi label sebagai LAINNYA).