Memahami biaya metode adjoint untuk optimasi pde-constrained

Saya mencoba memahami bagaimana metode pengoptimalan berbasis adjoint bekerja untuk optimisasi terbatas PDE. Khususnya, saya mencoba memahami mengapa metode adjoint lebih efisien untuk masalah di mana jumlah variabel desain besar, tetapi "jumlah persamaan kecil".

Apa yang saya mengerti:

Pertimbangkan masalah pengoptimalan terbatas PDE berikut:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

di mana adalah fungsi objektif (cukup kontinu) dari variabel desain vektor dan vektor variabel lapangan tidak diketahui yang bergantung pada variabel desain, dan adalah bentuk residu dari PDE. $I$ $\beta$ $u(\beta)$ $R(u)$

Jelas, kita dapat variasi pertama dari I dan R sebagai

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Memperkenalkan vektor pengganda lagrange , variasi dalam fungsi tujuan dapat ditulis sebagai $\lambda$

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Menyusun ulang istilah, kita dapat menulis:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Dengan demikian, jika kita dapat menyelesaikan untuk sehingga $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Kemudian gradien dievaluasi hanya dalam hal variabel desain . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Dengan demikian, algoritma optimisasi berbasis adjoint akan mengulangi langkah-langkah berikut:

Diberikan variabel desain saat ini $\beta$
Memecahkan variabel bidang (dari PDE) $u$
Memecahkan untuk pengganda lagrange (dari persamaan adjoint) $\lambda$
Hitung gradien $\frac{\partial I}{\partial \beta}$
Perbarui variabel desain $\beta$

Pertanyaan saya

Bagaimana 'trik' adjoin ini meningkatkan biaya optimasi per iterasi dalam kasus di mana jumlah variabel desain besar? Saya pernah mendengar bahwa biaya evaluasi gradien untuk metode adjoint adalah 'independen' dari jumlah variabel desain. Tetapi bagaimana tepatnya ini benar?

Saya yakin ada sesuatu yang sangat jelas bahwa saya entah bagaimana menghadap.

optimization pde

— Paul
sumber

Omong-omong, pengali Lagrange biasanya ditambahkan ke fungsional objektif, bukan variasi; dengan demikian . Mengatur turunan sehubungan dengan ke nol menghasilkan persamaan adjoint, dan memasukkan ini (dan solusi dari persamaan keadaan ) ke dalam turunan sehubungan dengan menghasilkan gradien. Jika Anda memulai dengan formulasi PDE yang lemah, segalanya menjadi lebih sederhana: Cukup masukkan pengganda Lagrange sebagai ganti fungsi tes. Tidak perlu untuk bentuk yang kuat atau integrasi parsial di mana saja.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason

Bagian paling mahal dari setiap simulasi adalah fase penyelesaian. Dengan menggunakan adjoint Anda mendapatkan gradien dalam dua solves, jauh lebih murah dibandingkan dengan perbedaan hingga di mana Anda setidaknya membutuhkan n + 1 solves, n menjadi jumlah parameter bebas dalam model Anda.

— stali

Jawaban:

Bagaimana 'trik' adjoin ini meningkatkan biaya optimasi per iterasi dalam kasus di mana jumlah variabel desain besar?

Saya berpikir tentang biaya dari perspektif aljabar linier. (Lihat catatan ini oleh Stephen G. Johnson , yang saya temukan lebih intuitif daripada pendekatan pengali Lagrange). Pendekatan ke depan berarti penyelesaian untuk sensitivitas secara langsung:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

yang melibatkan penyelesaian sistem linier untuk setiap parameter dalam vektor , lalu evaluasi $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

di mana menunjukkan turunan total, dan menunjukkan turunan parsial. $\mathrm{d}$ $\partial$

Pendekatan adjoint mencatat itu

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

sehingga variabel adjoint (pengali Lagrange) dapat didefinisikan oleh $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

yang sesuai dengan persamaan adjoint

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Pengelompokan ulang persyaratan ini hanya membutuhkan satu penyelesaian linier, alih-alih penyelesaian linier untuk setiap parameter, yang membuat evaluasi adjoin menjadi murah untuk banyak kasus parameter.

Saya pernah mendengar bahwa biaya evaluasi gradien untuk metode adjoint adalah 'independen' dari jumlah variabel desain. Tetapi bagaimana tepatnya ini benar?

Itu tidak sepenuhnya independen; mungkin biaya evaluasi dan akan meningkat dengan jumlah parameter. Namun, penyelesaian linier masih akan memiliki ukuran yang sama, asalkan ukuran tidak berubah. Asumsinya adalah bahwa solves jauh lebih mahal daripada evaluasi fungsi. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
sumber

Singkatnya, keuntungan berasal dari fakta bahwa untuk menghitung turunan dari tujuan dikurangi , Anda tidak benar-benar perlu mengetahui turunan dari sehubungan dengan sebagai objek terpisah, tetapi hanya bagian itu yang mengarah ke variasi dalam . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Biarkan saya beralih ke notasi. Saya sedikit lebih nyaman dengan: ( menjadi variabel desain, menjadi variabel keadaan, dan menjadi objektif). Katakanlah cukup baik untuk menerapkan teorema fungsi implisit, sehingga persamaan memiliki solusi unik yang secara terus menerus dapat dibedakan sehubungan dengan , dan turunannya diberikan oleh solusi dari ( dan menjadi turunan parsial) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Ini berarti Anda dapat mendefinisikan tujuan yang dikurangi , yang dapat dibedakan juga (jika adalah). Salah satu cara untuk mengkarakterisasi gradien adalah melalui turunan terarah (misalnya, hitung semua turunan parsial sehubungan dengan dasar ruang desain). Di sini, turunan terarah dalam arah diberikan oleh aturan rantai sebagai Jika baik, satu-satunya hal yang sulit untuk dihitung adalah untuk diberikan . Ini dapat dilakukan dengan mengalikan dengan $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ dari kanan dan penyelesaian untuk (yang mana teorema fungsi implisit memungkinkan), yaitu, komputasi dan menghubungkan ekspresi ini ke dalam . Dalam optimasi PDE-dibatasi, jumlah ini untuk memecahkan PDE linierisasi untuk setiap vektor basis dari ruang desain.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Namun, jika kita menemukan operator sehingga maka ini harus gradien yang diinginkan. Melihat , kita dapat menulis (dengan menjadi operator adjoint), jadi yang perlu kita hitung adalah . Dengan menggunakan , ini dapat dilakukan dengan menggunakan , yaitu, menghitung dan pengaturan Dalam optimasi terbatas-PDE, $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ biasanya semacam residual, dan penghitungan melibatkan penyelesaian satu PDE adjoin (linier), terlepas dari dimensi ruang desain. (Sebenarnya, ini bahkan bekerja untuk parameter didistribusikan, yaitu, jika adalah fungsi di beberapa ruang Banach dimensi tak terbatas, di mana pendekatan pertama adalah tidak layak.)

λ

$\lambda$

u

$u$

— Christian Clason
sumber