Apa asal usul jaringan saraf autoencoder?

13

Saya mencari di Google, Wikipedia, sarjana Google, dan banyak lagi, tetapi saya tidak dapat menemukan asal Autoencoder. Mungkin itu salah satu konsep yang berevolusi sangat lambat, dan tidak mungkin untuk melacak kembali titik awal yang jelas, tetapi saya masih ingin menemukan semacam ringkasan dari langkah-langkah utama perkembangan mereka.

The bab tentang autoencoders di Ian Goodfellow, Yoshua Bengio dan buku Jauh Belajar Aaron Courville mengatakan:

Gagasan autoencoder telah menjadi bagian dari lanskap historis neuralnetworks selama beberapa dekade (LeCun, 1987; Bourlard dan Kamp, 1988; Hinton dan Zemel, 1994). Secara tradisional, autoencoder digunakan untuk pengurangan dimensi atau pembelajaran fitur.

Ini presentasi oleh Pascal Vincent mengatakan:

Denoising menggunakan autoencoder klasik sebenarnya diperkenalkan jauh lebih awal (LeCun, 1987; Gallinari et al., 1987), sebagai alternatif untuk jaringan Hopfield (Hopfield, 1982).

Ini tampaknya menyiratkan bahwa "autoencoder klasik" ada sebelum itu: LeCun dan Gallinari menggunakannya tetapi tidak menemukannya. Saya tidak melihat jejak "autoencoder klasik" lebih awal dari 1987.

Ada ide?

neural-networks autoencoders history

— MiniQuark
sumber

9

Menurut sejarah yang disediakan di Schmidhuber, " Pembelajaran mendalam dalam jaringan saraf: gambaran umum ," Jaringan Syaraf (2015), auto-encoders diusulkan sebagai metode untuk pra-pelatihan tanpa pengawasan di Ballard, "Pembelajaran modular dalam jaringan saraf," Prosiding AAAI (1987). Tidak jelas apakah itu yang pertama kali digunakan auto-encoders; ini hanya pertama kalinya mereka digunakan untuk tujuan pra-pelatihan JST .

Sebagai pengantar artikel Schmidhuber menjelaskan, agak sulit untuk menghubungkan semua ide yang digunakan dalam JST karena literaturnya beragam dan terminologi telah berkembang dari waktu ke waktu.

— Sycorax berkata Reinstate Monica
sumber

1

Makalah yang ditulis oleh Ballard, memiliki terminologi yang sama sekali berbeda, dan bahkan tidak ada hirupan konsep Autoencoder secara keseluruhan. Mungkin AE tidak memiliki kertas asal.

— abunickabhi

2

Makalah Schmudhuber menekankan bahwa terminologi telah berubah dari waktu ke waktu dan orang yang berbeda telah menemukan kembali topik yang sama berulang kali. Tidak mengherankan bahwa penulis tidak menggunakan kata "auto encoder"

— Sycorax mengatakan Reinstate Monica

4

Makalah di bawah ini berbicara tentang autoencoder secara tidak langsung dan berasal dari tahun 1986. (yang merupakan tahun lebih awal dari makalah oleh Ballard pada tahun 1987)

DE Rumelhart, GE Hinton, dan RJ Williams, "Mempelajari representasi internal dengan propagasi kesalahan." , Pemrosesan Terdistribusi Paralel. Vol 1: Yayasan. MIT Press, Cambridge, MA, 1986.

Makalah ini pada dasarnya menggambarkan jenis baru jaringan feedforward pada waktu itu, dan formalisme matematisnya.

— abunickabhi
sumber