Perbedaan: Replicator Neural Network vs Autoencoder


8

Saat ini saya sedang mempelajari makalah tentang deteksi outlier menggunakan RNN's (Replicator Neural Networks) dan bertanya-tanya apa perbedaan khusus untuk Autoencoder? RNN tampaknya telah diinjak banyak orang sebagai cawan suci pendeteksian penyimpangan / anomali, namun idenya tampaknya sudah cukup tua, karena autoencoder sudah ada di sana sejak lama.


Hai. Saya baru saja menghapusnya, seperti yang saya baca di sini: meta.stackexchange.com/a/254090 bahwa datacience merupakan forum yang tepat untuk pertanyaan ini. Maaf atas keterlambatannya.
Nex

BAIK. Saya hanya memperhatikan karena saya belum pernah mendengar tentang NN Replikator dan mencari - pertanyaan lintas-valid muncul. Saya setuju bahwa Ilmu Data adalah tempat yang lebih baik untuk pertanyaan ini.
Neil Slater

Jawaban:


6

Kedua jenis jaringan mencoba merekonstruksi input setelah memasukkannya melalui semacam mekanisme kompresi / dekompresi. Untuk deteksi outlier kesalahan rekonstruksi antara input dan output diukur - outlier diharapkan memiliki kesalahan rekonstruksi yang lebih tinggi.

Perbedaan utama tampaknya adalah cara input dikompresi:

Autoencoder biasa memeras input melalui lapisan tersembunyi yang memiliki lebih sedikit neuron daripada lapisan input / output .. dengan cara itu jaringan harus mempelajari representasi data yang dikompresi.

Jaringan saraf replikator memeras data melalui lapisan tersembunyi yang menggunakan fungsi aktivasi seperti tangga. Fungsi aktivasi seperti tangga membuat jaringan memampatkan data dengan menetapkannya ke sejumlah kluster (tergantung pada jumlah neuron dan jumlah langkah).

fungsi aktivasi seperti tangga

Dari Replicator Neural Networks untuk Pemodelan Outlier dalam Pengenalan Wicara Segmental :

RNN awalnya diperkenalkan di bidang kompresi data [5]. Hawkins et al. mengusulkannya untuk pemodelan outlier [4]. Dalam kedua makalah struktur 5 lapis direkomendasikan, dengan lapisan keluaran linier dan fungsi aktivasi seperti tangga khusus di lapisan tengah (lihat Gambar. 2). Peran fungsi aktivasi ini adalah untuk mengukur vektor output lapisan tengah tersembunyi ke dalam titik-titik kisi dan dengan demikian mengatur titik data menjadi sejumlah kelompok.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.