Mengapa derivatif urutan kedua berguna dalam optimasi cembung?

Saya kira ini adalah pertanyaan dasar dan itu ada hubungannya dengan arah gradien itu sendiri, tapi saya sedang mencari contoh di mana metode urutan ke-2 (misalnya BFGS ) lebih efektif daripada penurunan gradien sederhana.

Berikut adalah kerangka umum untuk menafsirkan gradient descent dan metode Newton, yang mungkin merupakan cara yang berguna untuk memikirkan perbedaan sebagai suplemen untuk jawaban @ Sycorax. (BFGS mendekati metode Newton; saya tidak akan membicarakannya secara khusus di sini.)

Kami meminimalkan fungsi $f$ , tetapi kami tidak tahu bagaimana melakukannya secara langsung. Jadi, sebagai gantinya, kita mengambil perkiraan lokal pada titik saat ini $x$dan meminimalkannya.

Metode Newton mendekati fungsi menggunakan ekspansi Taylor orde kedua:

$$f(y) \approx N_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y - x)^T \, \nabla^2 f(x) \, (y - x) ,$$ mana$\nabla f(x)$ menunjukkan gradien$f$ pada titik$x$ dan$\nabla^2 f(x)$ the Hessian at$x$ . Kemudian langkah-langkah untuk$\arg\min_y N_x(y)$ dan mengulangi.

$t$$x - t \nabla f(x)$ Jadi gradient descent meminimalkan fungsi Gx(y):=f(x)+∇f(x)T(y-x)+

$$\begin{align} x - t \,\nabla f(x) &= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac{1}{2 t} \lVert y - x \rVert^2\right] \\&= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x)\right] .\end{align}$$ $$G_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x).$$

Jadi penurunan gradien seperti menggunakan metode Newton, tetapi alih-alih mengambil ekspansi Taylor orde kedua, kita berpura-pura bahwa Hessian adalah . IniGsering merupakan pendekatan secara substansial lebih burukfdariN, dan keturunan maka gradien sering mengambil langkah jauh lebih buruk daripada metode Newton. Ini diimbangi, tentu saja, dengan setiap langkah penurunan gradien menjadi jauh lebih murah untuk dihitung daripada setiap langkah metode Newton. Mana yang lebih baik sepenuhnya tergantung pada sifat masalah, sumber daya komputasi Anda, dan persyaratan akurasi Anda.$\tfrac1t I$$G$$f$$N$

Melihat contoh @ Sycorax tentang meminimalkan kuadrat sebentar, perlu dicatat bahwa perspektif ini membantu memahami kedua metode.

$$f(x) = \tfrac12 x^T A x + d^T x + c$$

Dengan metode Newton, kita akan memiliki sehingga berakhir dengan jawaban yang tepat (hingga masalah akurasi floating point) dalam satu langkah.$N = f$

Penurunan gradien, di sisi lain, menggunakan

$$G_x(y) = f(x) + (A x + d)^T y + \tfrac12 (x - y)^T \tfrac1t I (x-y)$$ $x$$A$

Pada dasarnya, keuntungan dari metode turunan kedua seperti metode Newton adalah bahwa ia memiliki kualitas pemutusan kuadratik. Ini berarti bahwa ia dapat meminimalkan fungsi kuadrat dalam sejumlah langkah yang terbatas. Metode seperti gradient descent sangat bergantung pada tingkat pembelajaran, yang dapat menyebabkan optimisasi bertemu secara perlahan karena memantul di sekitar yang optimal, atau menyimpang seluruhnya. Tingkat belajar yang stabil dapat ditemukan ... tetapi melibatkan perhitungan hessian. Bahkan ketika menggunakan tingkat pembelajaran yang stabil, Anda dapat memiliki masalah seperti osilasi di sekitar yang optimal, yaitu Anda tidak akan selalu mengambil jalur "langsung" atau "efisien" menuju minimum. Jadi butuh banyak iterasi untuk mengakhiri, bahkan jikaAnda relatif dekat dengan itu. Metode BFGS dan Newton dapat konvergen lebih cepat meskipun upaya komputasi setiap langkah lebih mahal.

Untuk permintaan Anda akan contoh: Misalkan Anda memiliki fungsi objektif

$$F(x)=\frac{1}{2}x^TAx+d^Tx+c$$ Gradien adalah $$\nabla F(x)=Ax+d$$ dan memasukkannya ke dalam bentuk keturunan paling curam dengan tingkat pembelajaran yang konstan $$x_{k+1}= x_k-\alpha(Ax_k+d) = (I-\alpha A)x_k-\alpha d.$$

Ini akan stabil jika besarnya vektor eigen dari $I-\alpha A$ kurang dari 1. Kita dapat menggunakan properti ini untuk menunjukkan bahwa tingkat pembelajaran yang stabil memuaskan

$$\alpha<\frac{2}{\lambda_{max}},$$ dimana $\lambda_{max}$ adalah nilai eigen terbesar dari $A$. Laju konvergensi algoritma descent terjal dibatasi oleh nilai eigen terbesar dan rutin akan konvergen paling cepat ke arah vektor eigen yang sesuai. Demikian juga, ia akan konvergen paling lambat ke arah vektor eigen dari nilai eigen terkecil. Ketika ada perbedaan besar antara nilai eigen besar dan kecil untuk$A$, gradient descent akan lambat. Apa saja$A$ dengan properti ini akan konvergen secara perlahan menggunakan gradient descent.

Dalam konteks spesifik jaringan saraf, buku Neural Network Design memiliki cukup banyak informasi tentang metode optimasi numerik. Diskusi di atas adalah kondensasi bagian 9-7.

Dalam optimasi cembung Anda memperkirakan fungsi sebagai polinomial tingkat kedua dalam kasus satu dimensi:

$$f(x)=c+\beta x + \alpha x^2$$

Dalam hal ini turunan kedua

$$\partial^2 f(x)/\partial x^2=2\alpha$$

Jika Anda tahu turunannya, maka mudah untuk menebak berikutnya untuk yang optimal:

$$\text{guess}=-\frac{\beta}{2\alpha}$$

Kasus multivarian sangat mirip, cukup gunakan gradien untuk turunan.

@Dougal sudah memberikan jawaban teknis yang bagus.

Penjelasan no-matematika adalah bahwa sementara pendekatan linier (orde 1) memberikan "bidang" yang tangensial ke titik pada permukaan kesalahan, pendekatan kuadratik (orde 2) menyediakan permukaan yang memeluk kelengkungan permukaan kesalahan.

Video pada tautan ini sangat membantu memvisualisasikan konsep ini. Mereka menampilkan orde 0, orde 1 dan orde 2 aproksimasi ke permukaan fungsi, yang secara intuitif memverifikasi apa jawaban lain hadir secara matematis.

Juga, posting blog yang bagus tentang topik (diterapkan pada jaringan saraf) ada di sini .