Apa perbedaan antara penurunan gradien berbasis momentum dan percepatan penurunan gradien Nesterov?

Jadi penurunan gradien berbasis momentum bekerja sebagai berikut:

$v=self.momentum*m-lr*g$

di mana adalah pembaruan berat sebelumnya, dan adalah gradien saat ini sehubungan dengan parameter , adalah tingkat pembelajaran, dan adalah konstanta.g p l r s e l f . m o m e n t u $m$$g$$p$$lr$$self.momentum$

$p_{new} = p + v = p + self.momentum * m - lr * g$

dan percepatan gradient descent Nesterov bekerja sebagai berikut:

$p_{new} = p + self.momentum * v - lr * g$

yang setara dengan:

$p_{new} = p + self.momentum * (self.momentum * m - lr * g ) - lr * g$

atau

$p_{new} = p + self.momentum^2 * m - (1 + self.momentum) * lr * g$

sumber: https://github.com/fchollet/keras/blob/master/keras/optimizers.py

Jadi bagi saya tampaknya penurunan gradien dipercepat Nesterov hanya memberikan bobot lebih untuk lr * g istilah selama periode perubahan berat badan sebelumnya m (dibandingkan dengan momentum lama polos). Apakah interpretasi ini benar?

Jawaban Arech tentang momentum Nesterov benar, tetapi kode dasarnya melakukan hal yang sama. Jadi dalam hal ini metode Nesterov memang memberikan bobot lebih untuk istilah , dan lebih sedikit bobot untuk istilah .$lr \cdot g$$v$

Untuk menggambarkan mengapa penerapan Keras benar, saya akan meminjam contoh Geoffrey Hinton .

Metode Nesterov mengambil pendekatan "koreksi-judi". Vektor coklat adalah (taruhan / lompatan), vektor merahnya adalah (koreksi), dan vektor hijau adalah (di mana kita seharusnya benar-benar pindah ke). adalah fungsi gradien.
w ′ = w + v ′ m ⋅ v - l r ⋅ ∇ ( w + m ⋅ v ) m ⋅ v - l r ⋅ ∇ ( w + m ⋅ v ) ∇ ( ⋅ $v' = m \cdot v - lr \cdot \nabla(w+m \cdot v)$
$w' = w + v'$
$m \cdot v$$-lr \cdot \nabla(w+m \cdot v)$$m \cdot v-lr \cdot \nabla(w+m \cdot v)$$\nabla(\cdot)$

Kode terlihat berbeda karena bergerak dengan vektor cokelat dan bukan vektor hijau , karena metode Nesterov hanya memerlukan evaluasi bukan . Karena itu di setiap langkah kami ingin∇ ( w $\nabla(w+m \cdot v) =: g$$\nabla(w)$

1. kembali ke tempat kita sebelumnya$(1 \rightarrow 0)$
2. ikuti vektor hijau ke tempat kita seharusnya$(0 \rightarrow 2)$
3. bertaruh lagi$(2 \rightarrow 3)$

Kode keras 'ditulis untuk singkat adalah , dan kami melakukan beberapa matematika$p' = p + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g$

$\begin{align} p' &= p - m \cdot v + m \cdot v + m \cdot (m \cdot v - lr \cdot g) - lr \cdot g\\ &= p - m \cdot v + m \cdot v - lr \cdot g + m \cdot (m \cdot v - lr \cdot g)\\ &= p - m \cdot v + (m \cdot v-lr \cdot g) + m \cdot (m \cdot v-lr \cdot g) \end{align}$

dan itu persis . Sebenarnya kode asli mengambil jalur yang lebih pendek . $1 \rightarrow 0 \rightarrow 2 \rightarrow 3$$1 \rightarrow 2 \rightarrow 3$

Nilai estimasi aktual (vektor hijau) harus , yang harus dekat dengan ketika belajar menyatu.$p - m \cdot v$$p$

Tampaknya bagi saya bahwa pertanyaan OP sudah dijawab, tetapi saya akan mencoba memberikan penjelasan (semoga intuitif) lain tentang momentum dan perbedaan antara Momentum Klasik (CM) dan Gradien Akselerasi Gradien (NAG) Nesterov.

tl; dr Langsung
saja ke gambar di bagian akhir.
Alasan NAG_ball adalah bagian penting lainnya, tetapi saya tidak yakin itu akan mudah dipahami tanpa sisanya.

CM dan NAG keduanya metode untuk memilih vektor berikutnya dalam ruang parameter, untuk menemukan minimum fungsi .$\theta$$f(\theta)$

Dalam berita lain, akhir-akhir ini kedua bola liar ini muncul:

Ternyata (sesuai dengan perilaku bola yang diamati, dan menurut makalah tentang pentingnya inisialisasi dan momentum dalam pembelajaran yang mendalam , yang menggambarkan CM dan NAG di bagian 2) bahwa setiap bola berperilaku persis seperti salah satu metode ini , dan jadi kami akan memanggil mereka "CM_ball" dan "NAG_ball":
(NAG_ball sedang tersenyum, karena ia baru-baru ini menyaksikan akhir Kuliah 6c - Metode momentum, oleh Geoffrey Hinton dengan Nitish Srivastava dan Kevin Swersky , dan dengan demikian percaya lebih dari sebelumnya bahwa perilakunya mengarah pada penemuan minimum yang lebih cepat.)

Beginilah perilaku bola:

• Alih-alih bergulir seperti bola normal, mereka melompat di antara titik dalam ruang parameter.
  Biarkan menjadi lokasi ke- bola di ruang parameter, dan biarkan menjadi lompat ke- bola . Kemudian melompat di antara titik-titik dalam ruang parameter dapat dijelaskan dengan .$\theta_t$$t$$v_t$$t$$\theta_t=\theta_{t-1}+v_t$
• Mereka tidak hanya melompat daripada roll, tetapi juga melompat mereka istimewa: Setiap melompat sebenarnya adalah Double Jump, yang merupakan komposisi dari dua melompat: $v_t$
  • Momentum Jump - lompatan yang menggunakan momentum dari , Double Jump terakhir. Sebagian kecil dari momentum hilang karena gesekan dengan udara. Biarkan menjadi fraksi dari momentum yang tersisa (bola cukup aerodinamis, jadi biasanya ). Kemudian Momentum Jump sama dengan . (Dalam CM dan NAG, adalah hiperparameter yang disebut "koefisien momentum".)$v_{t-1}$
    $v_{t-1}$
    $\mu$$0.9 \le \mu <1$$\mu v_{t-1}$
    $\mu$
    
  • Lereng Lompatan - lompatan yang mengingatkan saya pada hasil menempatkan bola normal di permukaan - bola mulai bergulir ke arah kemiringan paling curam ke bawah, sedangkan lereng yang curam, semakin besar akselerasi.
    Demikian pula, Lompatan Lompat ke arah kemiringan paling curam ke bawah (arah yang berlawanan dengan gradien), dan semakin besar gradien, semakin jauh lompatan.
    Slope Jump juga tergantung pada , tingkat semangat bola (tentu saja, ): Semakin bersemangat bola, semakin jauh Slope Jump akan mengambilnya. (Dalam CM dan NAG, adalah hiperparameter yang disebut "tingkat pembelajaran".) Mari$\epsilon$$\epsilon>0$
    $\epsilon$
    $g$menjadi gradien di lokasi awal Slope Jump. Kemudian Lompatan Lereng sama dengan .$-\epsilon g$
• Jadi untuk kedua bola, Double Jump sama dengan: Satu-satunya perbedaan antara bola adalah urutan dua lompatan dalam Double Jump. $$v_t=\mu v_{t-1} -\epsilon g$$
• CM_ball tidak menganggap itu penting, jadi dia memutuskan untuk selalu memulai dengan Slope Jump.
  Jadi, Double Jump CM_ball adalah: $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}\right)$$

• Sebaliknya, NAG_ball memikirkannya selama beberapa waktu, dan kemudian memutuskan untuk selalu memulai dengan Momentum Jump.
  Oleh karena itu, Lompat Ganda NAG_ball adalah:

  $$v_{t}=\mu v_{t-1}-\epsilon\nabla f\left(\theta_{t-1}+\mu v_{t-1}\right)$$

  Alasan NAG_ball

  • Apapun lompatan yang lebih dulu, Lompatan Momentum saya akan sama.
    Jadi saya harus mempertimbangkan situasinya seolah-olah saya sudah membuat Momentum Jump saya, dan saya akan membuat Slope Jump saya.
  • Sekarang, Lompatan Lereng saya secara konseptual akan dimulai dari sini, tetapi saya dapat memilih apakah akan menghitung seperti apa Lompatan Lereng saya seolah-olah itu dimulai sebelum Lompat Momentum, atau seolah-olah itu dimulai di sini.
  • Memikirkannya dengan cara ini membuatnya cukup jelas bahwa yang terakhir lebih baik, seperti umumnya, gradien di beberapa titik kira-kira mengarahkan Anda ke arah dari ke minimum (dengan besarnya relatif tepat), sedangkan gradien di beberapa titik lainnya cenderung mengarahkan Anda ke arah dari ke minimum (dengan besaran yang relatif tepat).$\theta$$\theta$$\theta$
    
    

Akhirnya, kemarin saya cukup beruntung untuk mengamati setiap bola yang melompat-lompat dalam ruang parameter 1 dimensi.
Saya pikir bahwa melihat posisi mereka yang berubah di ruang parameter tidak akan banyak membantu dalam mendapatkan intuisi, karena ruang parameter ini adalah sebuah garis.
Jadi sebagai gantinya, untuk setiap bola saya membuat sketsa grafik 2 dimensi di mana sumbu horizontal adalah . Kemudian saya menggambar menggunakan kuas hitam, dan juga menggambar setiap bola di posisi pertamanya, bersama dengan angka untuk menunjukkan urutan kronologis dari posisi tersebut. Terakhir, saya menggambar panah hijau untuk menunjukkan jarak dalam ruang parameter (yaitu jarak horizontal dalam grafik) dari setiap Momentum Jump dan Slope Jump.$\theta$f ( θ ) 7
$f(\theta)$$7$

Lampiran 1 - Demonstrasi alasan NAG_ball

Dalam gif yang memukau ini oleh Alec Radford , Anda dapat melihat NAG tampil lebih baik daripada CM ("Momentum" di gif).
(Minimum adalah di mana bintang berada, dan kurva adalah garis kontur . Untuk penjelasan tentang garis kontur dan mengapa mereka tegak lurus terhadap gradien, lihat video 1 dan 2 oleh 3Blue1Brown yang legendaris .)

Analisis momen tertentu menunjukkan alasan NAG_ball:

• Panah ungu (panjang) adalah momentum sub-langkah.
• Panah merah transparan adalah sub-langkah gradien jika dimulai sebelum sub-langkah momentum.
• Panah hitam adalah sub-langkah gradien jika dimulai setelah sub-langkah momentum.
• CM akan berakhir pada target panah merah gelap.
• NAG akan berakhir di target panah hitam.

Lampiran 2 - hal / istilah yang saya buat (demi intuisi)

• CM_ball
• NAG_ball
• Lompat Ganda
• Momentum Jump
• Momentum hilang karena gesekan dengan udara
• Lereng Lompat
• Semangat bola
• Saya mengamati bola kemarin

Lampiran 3 - istilah yang saya tidak pakai

• Cara CM dan NAG berperilaku:
  • Saya kebanyakan bergantung pada bagian 2 di makalah. Pada pentingnya inisialisasi dan momentum dalam pembelajaran yang mendalam .
    
  • Selain itu, Tinjauan umum tentang algoritma optimasi gradient descent (posting blog oleh Sebastian Ruder) benar-benar membantu saya memahami CM dan NAG (dan banyak lagi).
• Momentum koefisien - istilah yang digunakan setidaknya oleh kertas
• Tingkat belajar

Saya kira tidak.

Ada deskripsi yang bagus tentang properti Nesterov Momentum (alias Nesterov Accelerated Gradient) di, misalnya, Sutskever, Martens dkk. "Tentang pentingnya inisialisasi dan momentum dalam pembelajaran mendalam" 2013 .

Perbedaan utama adalah dalam momentum klasik, Anda pertama-tama mengoreksi kecepatan Anda dan kemudian membuat langkah besar sesuai dengan kecepatan itu (dan kemudian mengulangi), tetapi dalam momentum Nesterov Anda pertama-tama membuat langkah ke arah kecepatan dan kemudian membuat koreksi terhadap vektor kecepatan berdasarkan di lokasi baru (lalu ulangi).

yaitu momentum Klasik:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) )
W(t+1) = W(t) + vW(t+1)

Sementara momentum Nesterov adalah ini:

vW(t+1) = momentum.*Vw(t) - scaling .* gradient_F( W(t) + momentum.*vW(t) )
W(t+1) = W(t) + vW(t+1)

Sebenarnya, ini membuat perbedaan besar dalam latihan ...

Ditambahkan: kursus Stanford pada jaringan saraf, cs231n , memberikan bentuk lain dari langkah-langkah:

v = mu * v_prev - learning_rate * gradient(x)   # GD + momentum
v_nesterov = v + mu * (v - v_prev)              # keep going, extrapolate
x += v_nesterov

Inilah vkecepatan alias langkah alias keadaan, dan mumerupakan faktor momentum, biasanya 0,9 atau lebih. ( v, xdan learning_ratebisa jadi vektor yang sangat panjang; dengan numpy, kodenya sama.)

vpada baris pertama adalah gradient descent dengan momentum; v_nesterovekstrapolasi, terus berjalan. Misalnya, dengan mu = 0,9,

v_prev  v   --> v_nesterov
---------------
 0  10  -->  19
10   0  -->  -9
10  10  -->  10
10  20  -->  29

Deskripsi berikut memiliki 3 istilah:
istilah 1 saja adalah keturunan gradien polos (GD),
1 + 2 memberi momentum GD +,
1 + 2 + 3 memberi Nesterov GD.

Nesterov GD biasanya digambarkan sebagai langkah momentum bergantian dan langkah gradien :$x_t \to y_t$$y_t \to x_{t+1}$

$\qquad y_t = x_t + m (x_t - x_{t-1}) \quad$ - momentum, prediktor - gradien
$\qquad x_{t+1} = y_t + h\ g(y_t) \qquad$

di mana adalah gradien negatif, dan adalah stepsize alias tingkat pembelajaran.$g_t \equiv - \nabla f(y_t)$$h$

Gabungkan dua persamaan ini menjadi satu dalam saja, titik di mana gradien dievaluasi, dengan memasukkan persamaan kedua ke yang pertama, dan mengatur ulang istilah:$y_t$

$\qquad y_{t+1} = y_t$
$\qquad \qquad + \ h \ g_t \qquad \qquad \quad$ - gradien - langkah momentum - momentum gradien
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$
$\qquad \qquad + \ m \ h \ (g_t - g_{t-1}) \quad$

Istilah terakhir adalah perbedaan antara GD dengan momentum biasa, dan GD dengan momentum Nesterov.

Seseorang dapat menggunakan istilah momentum terpisah, misal dan : - momentum langkah - momentum gradien$m$$m_{grad}$
$\qquad \qquad + \ m \ (y_t - y_{t-1}) \qquad$
$\qquad \qquad + \ m_{grad} \ h \ (g_t - g_{t-1}) \quad$

Kemudian memberikan momentum yang jelas, Nesterov. menguatkan noise (gradien bisa sangat bising), adalah filter smoothing IIR.m g r a d = m m g r a d > 0 m g r a d ∼ - $m_{grad} = 0$$m_{grad} = m$
$m_{grad} > 0$
$m_{grad} \sim -.1$

By the way, momentum dan stepsize dapat bervariasi dengan waktu, dan , atau per komponen (ADA * berkoordinasi keturunan), atau keduanya - lebih metode dari uji kasus.h $m_t$$h_t$