Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang dihasilkan?
CBOW:
Lewati-gram:
Representasi vektor input vs representasi vektor output di word2vec
Jawaban:
Garten et al. {1} membandingkan vektor kata yang diperoleh dengan menambahkan vektor kata masukan dengan vektor kata keluaran, vs vektor kata yang diperoleh dengan menggabungkan vektor kata masukan dengan vektor kata keluaran. Dalam percobaan mereka, menggabungkan hasil secara signifikan lebih baik:
Video ceramah {2} merekomendasikan untuk rata-rata vektor kata masukan dengan vektor kata keluaran, tetapi tidak membandingkan terhadap gabungan vektor kata masukan dengan vektor kata keluaran.
Referensi:
- {1} Garten, J., Sagae, K., Ustun, V., & Dehghani, M. (2015, Juni). Menggabungkan Representasi Vektor Terdistribusi untuk Kata-kata . Dalam Prosiding NAACL-HLT (hlm. 95-101).
- {2} Stanford CS224N: NLP dengan Deep Learning oleh Christopher Manning | Musim Dingin 2019 | Kuliah 2 - Vektor Kata dan Indera Kata. https://youtu.be/kEMJRjEdNzM?t=1565 ( mirror )