Bagaimana gradien merambat dalam jaringan saraf berulang yang tidak dikontrol?

8

Saya mencoba memahami bagaimana rnn dapat digunakan untuk memprediksi urutan dengan bekerja melalui contoh sederhana. Ini adalah jaringan sederhana saya, yang terdiri dari satu input, satu neuron tersembunyi, dan satu output:

masukkan deskripsi gambar di sini

Neuron tersembunyi adalah fungsi sigmoid, dan output dianggap sebagai output linier sederhana. Jadi, saya pikir jaringan bekerja sebagai berikut: jika unit tersembunyi mulai dalam keadaan s, dan kami sedang memproses titik data yang merupakan urutan panjang , , maka: $3$ $(x_1, x_2, x_3)$

Pada saat itu 1, nilai yang diprediksi, , adalah $p^1$

p^{1} = u \times σ (w s + v x^{1})

$p^1 = u \times \sigma(ws+vx^1)$

Saat itu 2, sudah

p^{2} = u \times σ (w \times σ (w s + v x^{1}) + v x^{2})

$p^2 = u \times \sigma\left(w \times \sigma(ws+vx^1)+vx^2\right)$

Saat itu 3, sudah

p^{3} = u \times σ (w \times σ (w \times σ (w s + v x^{1}) + v x^{2}) + v x^{3})

$p^3 = u \times \sigma\left(w \times \sigma(w \times\sigma(ws+vx^1)+vx^2)+vx^3\right)$

Sejauh ini bagus?

The "unrolled" rnn terlihat seperti ini:

masukkan deskripsi gambar di sini

Jika kita menggunakan jumlah istilah kesalahan kuadrat untuk fungsi tujuan, lalu bagaimana cara mendefinisikannya? Di seluruh urutan? Dalam hal ini kita akan memiliki sesuatu seperti ? $E=(p^1-x^1)^2+(p^2-x^2)^2+(p^3-x^3)^2$

Apakah bobot diperbarui hanya setelah seluruh urutan dilihat (dalam hal ini, urutan 3-titik)?

Adapun gradien sehubungan dengan bobot, kita perlu menghitung , saya akan mencoba melakukan hanya dengan memeriksa 3 persamaan untuk atas, jika semuanya terlihat benar. Selain melakukannya dengan cara seperti itu, ini tidak terlihat seperti propagasi balik vanila bagi saya, karena parameter yang sama muncul di berbagai lapisan jaringan. Bagaimana kita menyesuaikannya? $dE/dw, dE/dv, dE/du$ $p^i$

Jika ada yang bisa membantu membimbing saya melalui contoh mainan ini, saya akan sangat menghargai.

— Fequish
sumber

Saya pikir ada sesuatu yang salah dengan fungsi kesalahan, Anda mungkin mendapatkan sebagai istilah elemen kedua dan Anda harus membandingkannya mungkin dengan , dalam kasus sempurna mereka harus sama. Dalam fungsi kesalahan Anda, Anda hanya membandingkan input dan output jaringan.

p^{1}

$p^1$

x^{2}

$x^2$

— itdxer

Saya pikir mungkin itu masalahnya. Tetapi kemudian bagaimana kesalahan didefinisikan untuk elemen yang diprediksi terakhir, ?

p^{3}

$p^3$

— Fequish

1

Saya pikir Anda perlu nilai target. Jadi untuk urutan , Anda perlu target yang sesuai . Karena Anda tampaknya ingin memprediksi istilah berikutnya dari urutan input asli, Anda perlu: $(x_1, x_2, x_3)$ $(t_1, t_2, t_3)$

t_{1} = x_{2}, t_{2} = x_{3}, t_{3} = x_{4}

$t_1 = x_2,\ t_2 = x_3,\ t_3 = x_4$

Anda perlu mendefinisikan , jadi jika Anda memiliki urutan input dengan panjang untuk melatih RNN, Anda hanya dapat menggunakan istilah pertama sebagai nilai input dan istilah terakhir sebagai target nilai-nilai. $x_4$ $N$ $N-1$ $N-1$

Jika kita menggunakan jumlah istilah kesalahan kuadrat untuk fungsi tujuan, lalu bagaimana cara mendefinisikannya?

Sejauh yang saya ketahui, Anda benar - kesalahannya adalah jumlah seluruh rangkaian. Ini karena bobot , dan adalah sama pada RNN yang tidak dilipat. $u$ $v$ $w$

Jadi,

E = \sum_{t} E^{t} = \sum_{t} (t^{t} - p^{t})^{2}

$E = \sum\limits_t E^t = \sum\limits_t (t^t - p^t)^2$

Apakah bobot diperbarui hanya setelah seluruh urutan dilihat (dalam hal ini, urutan 3-titik)?

Ya, jika menggunakan back propagation melalui waktu maka saya percaya begitu.

Adapun perbedaan, Anda tidak akan ingin memperluas seluruh ekspresi untuk dan membedakannya ketika datang ke RNN yang lebih besar. Jadi, beberapa notasi dapat membuatnya lebih rapi: $E$

Biarkan menunjukkan input ke neuron tersembunyi pada waktu (yaitu ) $z^t$ $t$ $z^1 = ws + vx^1$
Biarkan menunjukkan output untuk neuron tersembunyi pada waktu (yaitu $y^t$ $t$ $y^1 = \sigma(ws + vx^1))$
Biarkan $y^0 = s$
Biarkan $\delta^t = \frac{\partial E}{\partial z^t}$

Kemudian, turunannya adalah:

\begin{aligned} \frac{\partial E}{\partial u} & = y^{t} \\ \frac{\partial E}{\partial v} & = \sum_{t} δ^{t} x^{t} \\ \frac{\partial E}{\partial w} & = \sum_{t} δ^{t} y^{t - 1} \end{aligned}

$\begin{align}\frac{\partial E}{\partial u} &= y^t \\\\ \frac{\partial E}{\partial v} &= \sum\limits_t\delta^tx^t \\\\ \frac{\partial E}{\partial w} &= \sum\limits_t\delta^ty^{t-1} \end{align}$

Di mana untuk urutan panjang , dan: $t \in [1,\ T]$ $T$

δ^{t} = σ^{'} (z^{t}) (u + δ^{t + 1} w)

$\begin{equation} \delta^t = \sigma'(z^t)(u + \delta^{t+1}w) \end{equation}$

Relasi berulang ini berasal dari menyadari bahwa aktivitas tersembunyi tidak hanya memengaruhi kesalahan pada output , , tetapi juga memengaruhi sisa kesalahan selanjutnya di RNN, : $t^{th}$ $t^{th}$ $E^t$ $E - E^t$

\begin{aligned} \frac{\partial E}{\partial z^{t}} & = \frac{\partial E^{t}}{\partial y^{t}} \frac{\partial y^{t}}{\partial z^{t}} + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} \frac{\partial z^{t + 1}}{\partial y^{t}} \frac{\partial y^{t}}{\partial z^{t}} \\ \frac{\partial E}{\partial z^{t}} & = \frac{\partial y^{t}}{\partial z^{t}} (\frac{\partial E^{t}}{\partial y^{t}} + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} \frac{\partial z^{t + 1}}{\partial y^{t}}) \\ \frac{\partial E}{\partial z^{t}} & = σ^{'} (z^{t}) (u + \frac{\partial (E - E^{t})}{\partial z^{t + 1}} w) \\ δ^{t} = \frac{\partial E}{\partial z^{t}} & = σ^{'} (z^{t}) (u + δ^{t + 1} w) \end{aligned}

$\begin{align} \frac{\partial E}{\partial z^t} &= \frac{\partial E^t}{\partial y^t}\frac{\partial y^t}{\partial z^t} + \frac{\partial (E - E^t)}{\partial z^{t+1}}\frac{\partial z^{t+1}}{\partial y^t}\frac{\partial y^t}{\partial z^t} \\\\ \frac{\partial E}{\partial z^t} &= \frac{\partial y^t}{\partial z^t}\left(\frac{\partial E^t}{\partial y^t} + \frac{\partial (E - E^t)}{\partial z^{t+1}}\frac{\partial z^{t+1}}{\partial y^t}\right) \\\\ \frac{\partial E}{\partial z^t} &= \sigma'(z^t)\left(u + \frac{\partial (E - E^t)}{\partial z^{t+1}}w\right) \\\\ \delta^t = \frac{\partial E}{\partial z^t} &= \sigma'(z^t)(u + \delta^{t+1}w) \\\\ \end{align}$

Selain melakukannya dengan cara seperti itu, ini tidak terlihat seperti propagasi balik vanila bagi saya, karena parameter yang sama muncul di berbagai lapisan jaringan. Bagaimana kita menyesuaikannya?

Metode ini disebut propagasi balik melalui waktu (BPTT), dan mirip dengan propagasi balik dalam arti bahwa ia menggunakan aplikasi berulang dari aturan rantai.

Contoh kerja yang lebih terperinci tetapi rumit untuk RNN dapat ditemukan di Bab 3.2 dari 'Pelabelan Urutan Supervisi dengan Jaringan Syaraf Berulang' oleh Alex Graves - baca yang sangat menarik!

— dok
sumber

0

Kesalahan yang Anda jelaskan di atas (setelah modifikasi yang saya tulis dalam komentar di bawah pertanyaan) Anda hanya dapat menggunakan seperti prediksi kesalahan total, tetapi Anda tidak dapat menggunakannya dalam proses pembelajaran. Pada setiap iterasi, Anda menempatkan satu nilai input dalam jaringan dan mendapatkan satu output. Ketika Anda mendapatkan output, Anda harus memeriksa hasil jaringan Anda dan menyebarkan kesalahan ke semua bobot. Setelah pembaruan, Anda akan menempatkan nilai berikutnya secara berurutan dan membuat prediksi untuk nilai ini, selain itu Anda juga menyebarkan kesalahan dan seterusnya.

— itdxer
sumber