Apa itu LSTM, BiLSTM, dan kapan menggunakannya?

11

Saya sangat baru dalam belajar dan saya sangat tertarik untuk mengetahui apa itu LSTM dan BiLSTM dan kapan menggunakannya (area aplikasi utama). Mengapa LSTM dan BILSTM lebih populer daripada RNN?

Bisakah kita menggunakan arsitektur pembelajaran yang mendalam ini dalam masalah yang tidak diawasi?

— Volka
sumber

2

BiLSTM berarti LSTM dua arah, yang berarti sinyal merambat mundur serta maju dalam waktu. Anda juga dapat menerapkan arsitektur ini ke RNN lain. Untuk detailnya silakan baca en.wikipedia.org/wiki/Bidirectional_recurrent_neural_networks dan colah.github.io/posts/2015-08-Understanding-LSTMs Selamat datang di situs!

— Emre

Berikut ini adalah posting , perbedaan antara RNN dan LSTM dan di sini adalah blog untuk menunjukkan perbedaan antara LSTM dan Bidirectional-LTSM

— Benyamin Jafari

7

RNNarsitektur menyukai LSTMdan BiLSTMdigunakan pada saat-saat di mana masalah pembelajarannya berurutan, misalnya Anda memiliki video dan Anda ingin tahu apa itu semua tentang atau Anda ingin agen membaca baris dokumen untuk Anda yang merupakan gambar teks dan tidak dalam format teks. Saya sangat menyarankan Anda melihat di sini .

LSTMsdan varian dua arah mereka populer karena mereka telah mencoba mempelajari bagaimana dan kapan untuk melupakan dan kapan tidak menggunakan gerbang dalam arsitektur mereka. Dalam RNNarsitektur sebelumnya , menghilangkan gradien adalah masalah besar dan menyebabkan jaring-jaring itu tidak terlalu banyak belajar.

Menggunakan Bidirectional LSTMs, Anda memberi makan algoritma pembelajaran dengan data asli satu kali dari awal hingga akhir dan sekali dari ujung ke awal. Ada perdebatan di sini tetapi biasanya belajar lebih cepat daripada pendekatan satu arah meskipun tergantung pada tugas.

Ya, Anda dapat menggunakannya dalam pembelajaran tanpa pengawasan juga tergantung pada tugas Anda. lihat di sini dan di sini .

— Media
sumber

1

Terima kasih banyak atas jawabannya. Bisakah kita menggunakan lstm untuk ekstraksi kata kunci di NLP?

— Volka

sebenarnya ada banyak makalah tentang mereka, misalnya Anda bisa lihat di sini dan di sini .

— Media

Terima kasih banyak. Saya hanya ingin tahu apakah ada pendekatan pembelajaran mendalam ekstraksi kata kunci yang dapat kita gunakan?

— Volka

sebenarnya saya belum melihat, mungkin lebih baik untuk menanyakannya :)

— Media

4

Manusia tidak memulai pemikiran mereka dari awal setiap detik. Saat Anda membaca esai ini, Anda memahami setiap kata berdasarkan pada pemahaman Anda tentang kata-kata sebelumnya. Anda tidak membuang segalanya dan mulai berpikir dari awal lagi. Pikiran Anda memiliki kegigihan.

Jaringan saraf tradisional tidak bisa melakukan ini, dan sepertinya kekurangan besar. Misalnya, bayangkan Anda ingin mengklasifikasikan acara seperti apa yang terjadi di setiap titik dalam film. Tidak jelas bagaimana jaringan saraf tradisional dapat menggunakan alasannya tentang peristiwa sebelumnya dalam film untuk menginformasikan yang kemudian.

Jaringan saraf berulang mengatasi masalah ini. Mereka adalah jaringan dengan loop di dalamnya, memungkinkan informasi untuk bertahan.

Untuk membaca lebih lanjut, kunjungi Blog Cohen

— Abhishek Sharma
sumber

2

Dibandingkan dengan LSTM, BLSTMatau BiLSTMmemiliki dua jaringan, satu akses pastinformasi ke forwardarah dan satu lagi akses futureke reversearah. WIKI

Kelas baru Bidirectionalditambahkan sesuai dokumen resmi di sini :

model = Sequential()
model.add(Bidirectional(LSTM(num_channels, 
        implementation = 2, recurrent_activation = 'sigmoid'),
        input_shape=(input_length, input_dim)))

Contoh lengkap menggunakan data IMDB akan seperti ini

— ParthaSen
sumber