Mengapa Rekonstruksi dalam Autoencoder Menggunakan Fungsi Aktivasi yang Sama dengan Aktivasi Teruskan, dan bukan Pembalikan?

Misalkan Anda memiliki lapisan input dengan n neuron dan lapisan tersembunyi pertama $m$ neuron, dengan biasanya $m < n$ . Kemudian Anda menghitung aktingnya $a_j$ dari $j$ -th neuron di lapisan tersembunyi oleh

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$ dimana $f$ adalah fungsi aktivasi seperti $\tanh$ atau $\text{sigmoid}$ .

Untuk melatih jaringan, Anda menghitung rekonstruksi input, dilambangkan $z$ , dan meminimalkan kesalahan di antara $z$ dan $x$ . Sekarang, itu $i$ elemen ke-dalam $z$ biasanya dihitung sebagai:

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

Saya bertanya-tanya mengapa direkonstruksi $z$ biasanya dihitung dengan fungsi aktivasi yang sama alih-alih menggunakan fungsi terbalik, dan mengapa terpisah $w'$ dan $b'$ berguna bukannya menggunakan bobot dan bias terikat? Tampaknya jauh lebih intuitif bagi saya untuk menghitung yang direkonstruksi dengan fungsi aktivasi terbalik $f^{-1}$ misalnya $\text{arctanh}$ , sebagai berikut:

z_{i}^{'} = \sum_{j = 1.. m} \frac{f^{- 1} (a_{j}) - b_{j}}{w_{j, i}^{T}}

$z_i' = \sum\limits_{j=1..m} \frac{f^{-1}(a_j)-b_j}{w_{j,i}^T}$

Perhatikan, bahwa di sini bobot yang diikat digunakan, yaitu, $w' = w^T$ , dan bias $b_j$ lapisan tersembunyi digunakan, alih-alih memperkenalkan set bias tambahan untuk lapisan input.

Dan pertanyaan yang sangat terkait: Untuk memvisualisasikan fitur, alih-alih menghitung rekonstruksi, orang biasanya akan membuat matriks identitas dengan dimensi lapisan tersembunyi. Kemudian, seseorang akan menggunakan setiap kolom matriks sebagai input ke fungsi reaktivasi, yang menginduksi output dalam neuron input. Untuk fungsi reaktivasi, apakah lebih baik menggunakan fungsi aktivasi yang sama (resp $z_i$ ) atau fungsi terbalik (resp $z'_i$ )?

— Manfred Eppe
sumber

Saya tidak berpikir itu asumsi Anda $w' = w^T$ memegang. Atau lebih tepatnya tidak perlu, dan jika itu dilakukan, itu tidak untuk entah bagaimana secara otomatis membalikkan perhitungan untuk membuat fitur lapisan tersembunyi. Tidak mungkin untuk membalikkan kompresi secara umum, pergi dari n ke m yang lebih kecil, secara langsung dengan cara ini. Jika itu tujuannya, maka Anda ingin bentuk inversi matriks, bukan transpos sederhana.

Sebaliknya, kami hanya ingin $w_{ij}$ untuk representasi fitur tingkat tinggi terkompresi, dan akan dibuang $w'_{ij}$ setelah auto-encoder selesai.

Anda bisa mengatur $w' = w^T$ dan ikat beban. Ini dapat membantu dengan regularisasi - membantu autoencoder menggeneralisasi. Tapi itu tidak perlu.

Agar autoencoder berfungsi, sebenarnya tidak masalah fungsi aktivasi apa yang Anda gunakan setelah lapisan yang Anda latih sebelumnya, asalkan lapisan terakhir dari autoencoder dapat mengekspresikan kisaran input yang mungkin. Namun, Anda mungkin mendapatkan kualitas hasil yang bervariasi tergantung pada apa yang Anda gunakan, seperti biasa untuk jaringan saraf.

Sangat masuk akal untuk menggunakan fungsi aktivasi yang sama dengan yang Anda buat untuk layer yang sudah dilatih sebelumnya, karena ini adalah pilihan paling sederhana.

Menggunakan fungsi terbalik juga dimungkinkan, tetapi tidak disarankan untuk sigmoid atau tanh, karena misalnya arctanh tidak didefinisikan <-1 atau> 1, sehingga kemungkinan tidak akan stabil secara numerik.

— Neil Slater
sumber

Terima kasih! Namun demikian

w^{'} = w^{T}

$w' = w^T$ tampaknya menjadi praktik umum, seperti itu, misalnya, digunakan dalam tutorial yang sangat mendasar untuk mencela autoencoder dari deeplearning.net: ( deeplearning.net/tutorial/dA.html#daa ) Saya tidak merasa sangat masuk akal untuk menggunakan hal yang sama fungsi aktivasi untuk rekonstruksi, dapatkah Anda menjelaskan hal ini? Memang benar bahwa itu adalah pilihan paling sederhana, tetapi tampaknya lebih alami bagi saya untuk menggunakan

z_{i}^{'}

$z'_i$ dengan

a r c t a n h

$arctanh$ , karena ini menghasilkan sebenarnya kebalikan matematika dari aktivasi.

— Manfred Eppe

Kamu bisa jika kamu mau. Misalnya dari deeplearning.net/tutorial/dA.html "Secara opsional , matriks bobot

W^{'}

$W'$ pemetaan terbalik dapat dibatasi menjadi transpose pemetaan maju:

W^{'} = W^{T}

$W' = W^T$ . Ini disebut sebagai bobot terikat. "(Penekanan pada tambang). Inti dari jawaban saya adalah bahwa jika Anda melakukan ini, itu bukan untuk memberikan pembalikan otomatis pengkodean, itu hanya kendala yang akan mengatur pelatihan secara teratur.

— Neil Slater

Terima kasih, Neil. Komentar Anda tentang

w^{'} = w^{T}

$w' = w^T$ masalah membantu saya menggeneralisasi pertanyaan saya dan membuatnya lebih tepat, jadi saya mengedit pertanyaan itu sesuai. Sebenarnya, saya sebenarnya tidak mengerti mengapa ada manfaatnya memisahkan

w^{'}

$w'$ sama sekali, alih-alih selalu menggunakan matriks transposisi

w^{T}

$w^T$ . Jawabannya mungkin "karena memberikan hasil yang lebih baik", tetapi kemudian saya bertanya - tanya mengapa itu memberikan hasil yang lebih baik. Itu terlihat tidak intuitif bagi saya.

— Manfred Eppe

@ ManfredEppe: Mungkin sebagai gantinya Anda harus berpikir dengan hati-hati tentang mengapa Anda berpikir matriks bobot dan fungsi invers yang terbalik akan berguna? Tidak ada alasan khusus untuk menggunakannya - apa sebenarnya intuisi Anda di balik berpikir bahwa mereka akan berguna? Jika itu untuk "simetri" maka lihat lagi urutan penerapannya - ini bukan pembalikan simetris dari lapisan input-ke-tersembunyi (jika ya, fungsi aktivasi terbalik harus menjadi yang pertama)

— Neil Slater