Ya, GAN dapat digunakan untuk teks. Namun, ada masalah dalam kombinasi bagaimana GAN bekerja dan bagaimana teks biasanya dihasilkan oleh jaringan saraf:
- GAN bekerja dengan menyebarkan gradien melalui komposisi Generator dan Diskriminator.
- Teks biasanya dihasilkan dengan memiliki lapisan softmax akhir di atas ruang token, yaitu, output dari jaringan biasanya probabilitas menghasilkan setiap token (yaitu unit stokastik diskrit).
2 hal ini tidak bekerja dengan baik bersama-sama sendiri, karena Anda tidak dapat menyebarkan gradien melalui unit stokastik diskrit. Ada 2 pendekatan utama untuk menangani hal ini: algoritma REINFORCE dan reparameterisasi Gumbel-Softmax (juga dikenal sebagai distribusi Beton ). Mempertimbangkan bahwa REINFORCE diketahui memiliki varian tinggi sehingga Anda membutuhkan data dalam jumlah besar untuk mendapatkan estimasi gradien yang baik.
Sebagai contoh REINFORCE untuk GAN tekstual, Anda dapat memeriksa artikel SeqGAN . Contoh Gumbel-Softmax Anda dapat memeriksa artikel ini .
Pilihan lain yang sama sekali berbeda adalah tidak memiliki unit stokastik diskrit sebagai output dari generator (misalnya menghasilkan token secara deterministik dalam ruang tertanam), sehingga menghilangkan masalah asli dari backpropagating melalui mereka.