Pertanyaan yang diberi tag «rnn»

RNN sangat baik untuk menangkap ketergantungan waktu dari data sekuensial. Namun, apa yang terjadi ketika elemen urutan tidak sama spasi dalam waktu? Misalnya, input pertama ke sel LSTM terjadi pada hari Senin, lalu tidak ada data dari Selasa hingga Kamis, dan akhirnya input baru untuk masing-masing hari Jumat, Sabtu, Minggu. …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

Gagasan di balik Jaringan Syaraf Berulang (RNN) jelas bagi saya. Saya memahaminya dengan cara berikut: Kami memiliki urutan pengamatan ( ) (atau, dengan kata lain, deret waktu multivarian). Setiap pengamatan tunggal adalah vektor numerik dimensi. Di dalam model-RNN kita mengasumsikan bahwa pengamatan selanjutnya adalah fungsi dari pengamatan sebelumnya serta "keadaan …

11 time-series  neural-networks  predictive-models  intuition  rnn 

Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 …

10 deep-learning  loss-functions  rnn 

Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan regularisasi l2 dan hasilnya hanya akurasi 30% pada set kereta juga daripada …

10 neural-networks  deep-learning  regularization  rnn 

Seperti banyak orang lain, saya menemukan sumber daya di sini dan di sini sangat berguna untuk memahami sel-sel LSTM. Saya yakin saya mengerti bagaimana nilai mengalir dan diperbarui, dan saya cukup percaya diri untuk menambahkan "koneksi lubang intip" yang disebutkan, dll. Dalam contoh saya, saya punya setiap langkah langkah vektor …

9 machine-learning  neural-networks  lstm  rnn 

Judul mengatakan semuanya - berapa banyak parameter yang bisa dilatih yang ada di lapisan GRU? Pertanyaan semacam ini banyak muncul ketika mencoba membandingkan model dari tipe lapisan RNN yang berbeda, seperti unit memori jangka pendek (LSTM) vs GRU, dalam hal kinerja per-parameter. Karena sejumlah besar parameter yang dapat dilatih secara …

9 neural-networks  rnn  gru 

Saya tidak yakin tentang apa yang saya mengerti dari dokumentasi resmi, yang mengatakan: Pengembalian: Sepasang (keluaran, status) tempat: outputs: Tensor keluaran RNN. Jika time_major == False(default), ini akan menjadi Tensor berbentuk: [batch_size, max_time, cell.output_size]. Jika time_major == True, ini akan menjadi Tensor berbentuk: [max_time, batch_size, cell.output_size]. Catatan, jika cell.output_sizetupel integer …

8 deep-learning  lstm  tensorflow  rnn  gru 

Cukup intuitif bahwa sebagian besar topologi / arsitektur jaringan saraf tidak dapat diidentifikasi. Tapi apa saja hasil yang terkenal di lapangan? Apakah ada kondisi sederhana yang memungkinkan / mencegah pengidentifikasian? Sebagai contoh, semua jaringan dengan fungsi aktivasi nonlinear dan lebih dari satu lapisan tersembunyi tidak dapat diidentifikasi semua jaringan dengan …

8 neural-networks  conv-neural-network  rnn  identifiability 

Sebagai pemanasan dengan jaringan saraf berulang, saya mencoba memprediksi gelombang sinus dari gelombang sinus lain dari frekuensi lain. Model saya adalah RNN sederhana, forward pass-nya dapat dinyatakan sebagai berikut: rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned} di mana adalah fungsi …

8 regression  time-series  neural-networks  deep-learning  rnn 

Misalkan saya memberi makan matriks 2D bentuk (99,13) sebagai input ke lapisan LSTM. Saya memiliki n jumlah file, di mana masing-masing berisi vektor ukuran (99,13). Saya telah memutuskan untuk mempertimbangkan 13 sebagai jumlah fitur dan 99 sebagai catatan waktu. (Saat menerapkan dengan Keras, saya telah menambahkan layer LSTM sebagai layer …

8 machine-learning  lstm  rnn