Membantu memutuskan antara interpolasi kubik dan kuadrat dalam pencarian baris

Saya melakukan pencarian garis sebagai bagian dari algoritma BFGS kuasi-Newton. Dalam satu langkah pencarian baris saya menggunakan interpolasi kubik untuk bergerak lebih dekat ke minimizer lokal.

Biarkan menjadi fungsi yang menarik. Saya ingin mencari x ∗ sehingga f ′ ( x ∗ ) ≈ 0 .$f : R \rightarrow R, f \in C^1$$x^*$$f'(x^*) \approx 0$

Biarkan , f ′ ( x k ) , f ( x k + 1 ) dan f ′ ( x k + 1 ) diketahui. Juga asumsikan 0 ≤ x k < x ∗ < x k + 1 . Saya cocok dengan polinomial Q ( x ) = a x 3 + b x 2$f(x_k)$$f'(x_k)$$f(x_{k+1})$$f'(x_{k+1})$$0\le x_k<x^*<x_{k+1}$ sehingga Q ( 0 ) = f ( x k ) , Q ′ ( 0 ) = f ′ ( x k ) , Q ( x k + 1 - x k ) = f ( x k + 1 ) dan Q ′ ( X k + 1 - x k ) $Q(x)=ax^3+bx^2+cx+d$$Q(0)=f(x_k)$$Q'(0)=f'(x_k)$$Q(x_{k+1}-x_{k})=f(x_{k+1})$ .$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

Aku memecahkan persamaan kuadrat: untuk saya dicari x * menggunakan solusi bentuk tertutup.$(1): Q'(x^*-x_k) = 0$$x^*$

Karya-karya di atas baik dalam banyak kasus, kecuali bila sebagai solusi bentuk tertutup untuk ( 1 ) membagi oleh suatu yang menjadi sangat dekat dengan atau tepatnya 0 .$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

Solusi saya adalah dengan melihat dan jika "terlalu kecil" cukup ambil solusi bentuk tertutup untuk minimizer polinomial kuadrat Q 2 ( x ) = b x 2 + c x + d yang sudah saya miliki koefisiennya b , c , d dari fit sebelumnya ke Q ( x ) .$a$$Q_2(x)=bx^2+cx+d$$b,c,d$$Q(x)$

Pertanyaan saya adalah: Bagaimana cara membuat tes yang baik untuk kapan mengambil interpolasi kuadratik di atas kubik? Pendekatan naif untuk tes untuk adalah karena buruk untuk alasan numerik jadi saya sedang melihat | a | < ϵ τ di mana ϵ adalah presisi mesin, tapi aku tidak dapat memutuskan τ yang baik yang berskala invarian dari f .$a \equiv 0$$|a| < \epsilon\tau$$\epsilon$$\tau$$f$

Pertanyaan bonus: Apakah ada masalah numerik dengan menggunakan koefisien, , dari kubik yang gagal atau haruskah saya melakukan kuadratik baru dengan cara yang tepat untuk menghitung koefisien?$b,c,d$

Edit untuk klarifikasi: Dalam pertanyaan saya sebenarnya adalah apa yang biasa disebut sebagai ϕ ( α ) = f ( ˉ x k + α ¯ p k ) dalam literatur. Saya hanya menyederhanakan rumusan pertanyaan. Masalah optimasi yang saya selesaikan adalah non-linear dalam 6 dimensi. Dan saya sangat menyadari bahwa kondisi Wolfe cukup untuk pencarian garis BFGS karena itu menyatakan bahwa saya tertarik pada f ′ ( x ∗ ) ≈ $f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$; Saya mencari sesuatu yang akan memuaskan kondisi Wolfe yang kuat dan mengambil minimizer dari pendekatan kubik adalah langkah yang baik di sepanjang jalan.

Pertanyaannya bukan tentang BFGS, melainkan bagaimana menentukan kapan koefisien kubik cukup kecil sehingga perkiraan kuadrat lebih tepat.

Sunting 2: Perbarui notasi, persamaan tidak berubah.

Hmm ... interpolasi kubik tidak pernah terdengar untuk pencarian baris, tetapi biasanya berlebihan.

$x$

Ada sejumlah algoritma pencarian baris untuk BFGS. Untuk aplikasi saya sendiri, menggunakan BFGS terbatas memori (L-BFGS) pencarian baris ini bekerja dengan sangat baik. Ingatlah bahwa Anda hanya perlu memenuhi persyaratan Wolfe, dan kemungkinan Anda tidak mendapatkan banyak dengan menemukan minimizer yang tepat.

Bagaimanapun, untuk benar-benar menjawab pertanyaan Anda: Saya akan mempertimbangkan hanya beralih ke polinomial kuadrat jika memecahkan yang kubik menghasilkan nilai "buruk" seperti NaN atau Inf (seperti yang dilakukan di sini ).

$b,c,d$

$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

Semoga ini membantu.

Ada sebuah makalah oleh Moré, yang diimplementasikan oleh Nocedal, tentang itu:

Jorge J. Moré dan David J. Thuente. 1994. Algoritma pencarian baris dengan jaminan penurunan yang cukup. ACM Trans. Matematika Softw. 20, 3 (September 1994), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( pracetak ).