Pertanyaan yang diberi tag «rnn»

Apa perbedaan antara umpan-maju dan jaringan saraf berulang ? Mengapa Anda menggunakan salah satunya? Apakah topologi jaringan lain ada?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Saya telah mempelajari LSTM untuk sementara waktu. Saya mengerti pada tingkat tinggi bagaimana semuanya bekerja. Namun, akan mengimplementasikannya menggunakan Tensorflow saya perhatikan bahwa BasicLSTMCell memerlukan sejumlah unit (yaitu num_units) parameter. Dari ini penjelasan yang sangat menyeluruh LSTMs, saya sudah mengumpulkan bahwa satu satuan LSTM adalah salah satu dari berikut ini …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Baru-baru ini saya membaca bahwa jaringan saraf berulang dapat mendekati algoritma apa pun. Jadi pertanyaan saya adalah: apa arti tepatnya ini dan dapatkah Anda memberi saya referensi di mana ini terbukti?

28 references  rnn 

Apa keuntungannya, mengapa seseorang menggunakan banyak LSTM, ditumpuk satu demi satu, dalam jaringan yang dalam? Saya menggunakan LSTM untuk mewakili urutan input sebagai input tunggal. Jadi, begitu saya memiliki representasi tunggal itu — mengapa saya harus melewatinya lagi? Saya bertanya ini karena saya melihat ini dalam program generasi bahasa alami.

25 classification  neural-networks  deep-learning  lstm  rnn 

Mekanisme perhatian telah digunakan dalam berbagai makalah Deep Learning dalam beberapa tahun terakhir. Ilya Sutskever, kepala penelitian di Open AI, dengan antusias memuji mereka: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello di Purdue University telah mengklaim bahwa RNN dan LSTM harus ditinggalkan demi jaringan saraf murni berdasarkan perhatian: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Ini tampaknya berlebihan, tetapi tidak …

23 time-series  deep-learning  lstm  rnn  attention 

Pertanyaan ini sudah memiliki jawaban di sini : Bagaimana perubahan fungsi biaya menjadi positif? (1 jawaban) Apa yang harus saya lakukan ketika jaringan saraf saya tidak belajar? (5 jawaban) Ditutup bulan lalu . Saya melatih model (Recurrent Neural Network) untuk mengklasifikasikan 4 jenis urutan. Ketika saya menjalankan pelatihan saya, saya …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Saya mencoba memahami arsitektur Recurrent neural network (RNN) yang berbeda untuk diterapkan pada data deret waktu dan saya agak bingung dengan nama-nama berbeda yang sering digunakan ketika menggambarkan RNN. Apakah struktur memori jangka pendek panjang (LSTM) dan Gated Recurrent Unit (GRU) pada dasarnya adalah RNN dengan loop umpan balik?

20 neural-networks  lstm  rnn 

Saya baru-baru ini menjadi tertarik pada LSTM dan saya terkejut mengetahui bahwa bobot dibagi bersama waktu. Saya tahu bahwa jika Anda berbagi bobot lintas waktu, maka urutan waktu input Anda dapat menjadi panjang variabel. Dengan bobot bersama, Anda memiliki lebih sedikit parameter untuk dilatih. Dari pemahaman saya, alasan seseorang akan …

20 machine-learning  lstm  rnn 

RNN dapat digunakan untuk prediksi, atau pemetaan urutan ke urutan. Tetapi bagaimana RNN dapat digunakan untuk klasifikasi? Maksud saya, kami memberikan seluruh label satu urutan.

19 machine-learning  neural-networks  rnn 

Saya akan melalui blog berikut pada jaringan saraf LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Penulis membentuk kembali vektor input X sebagai [sampel, langkah waktu, fitur] untuk konfigurasi LSTM yang berbeda. Penulis menulis Memang, urutan huruf adalah langkah waktu dari satu fitur daripada satu langkah waktu dari fitur yang terpisah. Kami telah memberikan lebih banyak …

18 neural-networks  lstm  rnn  tensorflow  tensor 

Saya ingin melakukan proyek optical character recognition (OCR). Setelah melakukan beberapa penelitian saya menemukan arsitektur yang tampaknya menarik: CNN + RNN + CTC. Saya akrab dengan jaringan saraf berbelit-belit (CNN), dan jaringan saraf berulang (RNN), tetapi apa itu Classification Temporal Classification (CTC)? Saya ingin penjelasan dalam istilah awam.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Saya mencoba memahami aplikasi tingkat tinggi RNNs untuk pelabelan urutan melalui (antara lain) makalah Graves 2005 tentang klasifikasi fonem. Untuk meringkas masalah: Kami memiliki satu set pelatihan besar yang terdiri dari (input) file audio dari kalimat tunggal dan (output) waktu mulai berlabel ahli, waktu berhenti dan label untuk fonem individu …

15 lstm  rnn 

Dalam jaringan saraf berulang, Anda biasanya akan maju merambat melalui beberapa langkah waktu, "membuka gulungan" jaringan, dan kemudian kembali merambat melintasi urutan input. Mengapa Anda tidak hanya memperbarui bobot setelah masing-masing langkah dalam urutan? (setara dengan menggunakan panjang pemotongan 1, sehingga tidak ada yang membuka gulungan) Ini benar-benar menghilangkan masalah …

14 time-series  neural-networks  backpropagation  rnn 

Saya memiliki pengetahuan dasar tentang bagaimana RNN (dan, khususnya, dengan unit LSTM) bekerja. Saya punya ide gambar arsitektur unit LSTM, yaitu sel dan beberapa gerbang, yang mengatur aliran nilai. Namun, tampaknya, saya belum sepenuhnya memahami bagaimana LSTM memecahkan masalah "gradien menghilang dan meledak", yang terjadi saat pelatihan, menggunakan back-propagation melalui …

13 neural-networks  lstm  rnn  backpropagation 

Masalah input berurutan mana yang paling cocok untuk masing-masing? Apakah dimensi input menentukan mana yang lebih cocok? Apakah masalah yang membutuhkan "memori lebih lama" lebih cocok untuk LSTM RNN, sementara masalah dengan pola input siklus (pasar saham, cuaca) lebih mudah diselesaikan oleh HMM? Sepertinya ada banyak tumpang tindih; Saya ingin …

13 time-series  neural-networks  hidden-markov-model  rnn