Menggunakan pembelajaran yang mendalam untuk prediksi deret waktu

Saya baru di bidang pembelajaran mendalam dan bagi saya langkah pertama adalah membaca artikel menarik dari situs deeplearning.net. Dalam makalah tentang pembelajaran yang mendalam, Hinton dan yang lainnya kebanyakan berbicara tentang menerapkannya pada masalah gambar. Dapatkah seseorang mencoba menjawab saya apakah itu dapat diterapkan pada masalah memprediksi nilai deret waktu (keuangan, lalu lintas internet, ...) dan hal-hal penting apa yang harus saya fokuskan jika memungkinkan?

Ada beberapa pekerjaan mengadaptasi metode pembelajaran mendalam untuk data sekuensial. Banyak dari pekerjaan ini berfokus pada pengembangan "modul" yang dapat ditumpuk dengan cara yang analog dengan menumpuk mesin boltzmann terbatas (RBM) atau autoencoder untuk membentuk jaringan saraf yang dalam. Saya akan menyoroti beberapa di bawah ini:

• RBM bersyarat : Mungkin salah satu aplikasi pembelajaran dalam yang paling sukses untuk rangkaian waktu. Taylor mengembangkan model seperti RBM yang menambahkan interaksi temporal antara unit yang terlihat dan menerapkannya pada pemodelan data penangkapan gerak. Pada dasarnya Anda berakhir dengan sesuatu seperti sistem dinamika linear dengan beberapa non-linearitas ditambahkan oleh unit tersembunyi.
• Temporal RBMs : Dalam tesisnya (bagian 3) Ilya Sutskever mengembangkan beberapa model seperti RBM dengan interaksi temporal antar unit. Dia juga menyajikan beberapa hasil menarik yang menunjukkan pelatihan jaringan saraf berulang dengan SGD dapat melakukan juga atau lebih baik daripada metode yang lebih kompleks, seperti algoritma Martens 'Hessian-free, menggunakan inisialisasi yang baik dan persamaan yang sedikit dimodifikasi untuk momentum.
• Autoencoder Rekursif : Terakhir saya akan menyebutkan karya Richard Socher tentang penggunaan autoencoder rekursif untuk penguraian. Meskipun ini bukan deret waktu, itu pasti terkait.

Ya, pembelajaran yang mendalam dapat diterapkan untuk prediksi deret waktu. Bahkan, sudah dilakukan berkali-kali, misalnya:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Ini sebenarnya bukan "kasus khusus", pembelajaran mendalam sebagian besar tentang metode preprocessing (berdasarkan model generatif), jadi bagi Anda harus fokus pada hal-hal yang persis sama dengan yang Anda fokuskan ketika Anda melakukan pembelajaran mendalam dalam "pengertian tradisional" pada satu tangan, dan hal-hal yang sama yang Anda fokuskan saat melakukan prediksi deret waktu tanpa pembelajaran mendalam.

Recurrent Neural Networks dianggap sebagai jenis Deep Learning (DL). Saya pikir mereka adalah alat DL paling populer untuk pembelajaran urutan-ke-urutan (1d). Mereka saat ini menjadi dasar pendekatan Neural Machine Translation (NMT) (dipelopori 2014 di LISA (UdeM), Google, dan mungkin beberapa orang lain yang saya tidak ingat).

Sekuen Pembangkitan Alex Graves dengan Recurrent Neural Networks menggunakan jaringan berulang dan Sel memori jangka pendek untuk memprediksi teks dan melakukan sintesis tulisan tangan.

Andrej Karpathy telah menulis sebuah blog tentang menghasilkan urutan tingkat karakter dari awal. Dia menggunakan RNN dalam tutorialnya.

Untuk lebih banyak contoh, Anda harus melihat- Hochreiter, S., & Schmidhuber, J. (1997). Memori jangka panjang yang panjang. Perhitungan saraf, 9 (8), 1735-1780.

Mungkin ini akan membantu:

• I. Sutskever, O. Vinyals, dan QV V Le, “Sequence to sequence learning with neural networks,” dalam Advance in Neural Information Processing Systems, 2014, hlm. 3104–3112.

Jika Anda memiliki definisi untuk jendela waktu yang tepat pada data seperti kalimat dalam makalah atau paragraf ini, maka Anda akan baik-baik saja dengan menggunakan LSTM, tetapi saya tidak yakin bagaimana menemukan jendela waktu yang tidak jelas dan lebih sadar konteks. Contoh untuk itu adalah berapa banyak data log yang Anda lihat terkait dan itu bukan sesuatu yang jelas.