Cara melatih lapisan deep-network LSTM

Saya menggunakan jaringan lstm dan umpan-maju untuk mengklasifikasikan teks.

Saya mengonversi teks menjadi vektor satu-panas dan mengumpankan masing-masing ke dalam lstm sehingga saya dapat meringkasnya sebagai satu representasi. Lalu saya memberinya makan ke jaringan lain.

Tapi bagaimana cara melatih lstm? Saya hanya ingin urutan mengklasifikasikan teks - haruskah saya memberinya makan tanpa pelatihan? Saya hanya ingin merepresentasikan bagian ini sebagai satu item yang dapat saya masukkan ke dalam layer input dari classifier.

Saya akan sangat menghargai saran apa pun dengan ini!

Memperbarui:

Jadi saya punya lstm dan classifier. Saya mengambil semua output dari lstm dan mengelompokkannya, lalu saya masukkan rata-rata itu ke dalam classifier.

Masalah saya adalah bahwa saya tidak tahu bagaimana cara melatih lstm atau classifier. Saya tahu input apa yang harus untuk lstm dan apa output dari classifier seharusnya untuk input itu. Karena mereka adalah dua jaringan terpisah yang hanya diaktifkan secara berurutan, saya perlu tahu dan tidak tahu apa yang seharusnya menjadi output-ideal untuk lstm, yang juga akan menjadi input untuk classifier. Apakah ada cara untuk melakukan ini?

Tempat terbaik untuk memulai dengan LSTM adalah posting blog A. Karpathy http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Jika Anda menggunakan Torch7 (yang sangat saya sarankan) kode sumber tersedia di github https://github.com/karpathy/char-rnn .

Saya juga akan mencoba sedikit mengubah model Anda. Saya akan menggunakan pendekatan banyak-ke-satu sehingga Anda memasukkan kata-kata melalui tabel pencarian dan menambahkan kata khusus di akhir setiap urutan, sehingga hanya ketika Anda memasukkan tanda "akhir urutan" Anda akan membaca klasifikasi output dan hitung kesalahan berdasarkan kriteria pelatihan Anda. Dengan cara ini Anda akan berlatih langsung di bawah konteks yang diawasi.

Di sisi lain, pendekatan yang lebih sederhana adalah dengan menggunakan paragraf2vec ( https://radimrehurek.com/gensim/models/doc2vec.html ) untuk mengekstraksi fitur untuk teks input Anda dan kemudian menjalankan classifier di atas fitur Anda. Ekstraksi fitur paragraf vektor sangat sederhana dan dengan python adalah:

class LabeledLineSentence(object):
    def __init__(self, filename):
        self.filename = filename

    def __iter__(self):
        for uid, line in enumerate(open(self.filename)):
            yield LabeledSentence(words=line.split(), labels=['TXT_%s' % uid])

sentences = LabeledLineSentence('your_text.txt')

model = Doc2Vec(alpha=0.025, min_alpha=0.025, size=50, window=5, min_count=5, dm=1, workers=8, sample=1e-5)
model.build_vocab(sentences)

for epoch in range(epochs):
    try:
        model.train(sentences)
    except (KeyboardInterrupt, SystemExit):
        break