Cara terbaik untuk menginisialisasi status LSTM

Saya bertanya-tanya apa cara terbaik untuk menginisialisasi keadaan untuk LSTM. Saat ini saya baru saja menginisialisasi ke semua nol. Saya tidak dapat menemukan apa pun secara online tentang cara menginisialisasi. Satu hal yang saya pikirkan untuk dilakukan adalah menjadikan status awal sebagai parameter yang dapat dilatih. Ada saran?

Biasanya, Anda akan mengatur status awal ke nol, tetapi jaringan akan belajar untuk beradaptasi dengan keadaan awal itu.

The artikel berikut menunjukkan mempelajari negara tersembunyi awal atau menggunakan random noise.

Pada dasarnya, jika data Anda menyertakan banyak urutan pendek, maka melatih keadaan awal dapat mempercepat pembelajaran.

Atau, jika data Anda menyertakan sejumlah kecil urutan panjang maka mungkin tidak ada cukup data untuk melatih keadaan awal secara efektif. Dalam hal menggunakan keadaan awal yang bising dapat mempercepat pembelajaran. Sebuah ide yang tidak mereka sebutkan adalah mempelajari mean dan std dari generator kebisingan.

Artikel tersebut mencatat bahwa jika Anda memilih untuk mempelajari keadaan awal, maka menambahkan kebisingan tidak terlalu bermanfaat.

Anda dapat menggunakan parameter yang diinisialisasi yang dipelajari menggunakan transfer belajar, tetapi perlu diingat bahwa itu juga dimulai di suatu tempat dari kondisi diinisialisasi yang tidak dipelajari. Pada dasarnya, Anda harus mulai dari titik tertentu, biasanya sekelompok nol, dan kemudian disempurnakan dengan pelatihan. Jadi, jika Anda tidak menggunakan mekanisme pembelajaran transfer, Anda juga harus mulai dari keadaan awal manual, saya yakin mungkin ada karya literatur yang tersedia untuk mengatur keadaan awal secara manual.

Ini adalah penjelasan paling sederhana yang bisa saya berikan. Terima kasih.