Baru-baru ini, saya telah mempelajari autoencoder. Jika saya mengerti dengan benar, autoencoder adalah jaringan saraf di mana lapisan input identik dengan lapisan keluaran. Jadi, jaringan saraf mencoba untuk memprediksi output menggunakan input sebagai standar emas.
Apa kegunaan model ini? Apa manfaat dari mencoba merekonstruksi beberapa elemen output, menjadikannya sama dengan elemen input? Mengapa seseorang harus menggunakan semua mesin ini untuk mencapai titik awal yang sama?
Jawaban:
Penyandi otomatis memiliki lapisan masukan, lapisan tersembunyi, dan lapisan keluaran. Input dipaksa untuk identik dengan output, jadi itu lapisan tersembunyi yang kami minati.
Lapisan tersembunyi membentuk semacam pengkodean input. "Tujuan dari auto-encoder adalah untuk mempelajari representasi (pengkodean) yang dikompresi dan didistribusikan untuk satu set data." Jika input adalah vektor 100 dimensi, dan Anda memiliki 60 neuron di lapisan tersembunyi, maka algoritma auto encoder akan mereplikasi input sebagai vektor 100 dimensi di layer output, dalam proses memberi Anda vektor 60 dimensi yang mengkodekan input Anda .
Jadi tujuan dari auto encoders adalah pengurangan dimensi , di antara banyak lainnya.
Itu juga dapat memodelkan populasi Anda sehingga ketika Anda memasukkan vektor baru, Anda dapat memeriksa seberapa berbeda output dari input tersebut. Jika "sama", Anda dapat menganggap input cocok dengan populasi. Jika mereka "sangat" berbeda, maka input mungkin bukan milik populasi yang Anda modelkan.
Saya melihatnya sebagai semacam "regresi oleh jaringan saraf" di mana Anda mencoba untuk memiliki fungsi yang menggambarkan data Anda: outputnya sama dengan input.
Mungkin foto-foto ini memberi Anda intuisi. Seperti komentator di atas mengatakan auto encoders mencoba mengekstraksi beberapa fitur tingkat tinggi dari contoh pelatihan. Anda dapat melihat bagaimana algoritma prognostikasi digunakan untuk melatih setiap level tersembunyi secara terpisah untuk NN dalam pada gambar kedua.
Gambar diambil dari wikipedia Rusia.