Apa prinsip di balik konvergensi metode ruang bagian Krylov untuk menyelesaikan sistem persamaan linear?

Seperti yang saya pahami, ada dua kategori utama metode iteratif untuk menyelesaikan sistem persamaan linear:

Metode Alat Tulis (Jacobi, Gauss-Seidel, SOR, Multigrid)
Metode Subruang Krylov (Konjugat Gradien, GMRES, dll.)

Saya mengerti bahwa sebagian besar metode stasioner bekerja dengan iteratif santai (menghaluskan) mode Fourier dari kesalahan. Seperti yang saya pahami, metode Conjugate Gradient (metode ruang Krylov) bekerja dengan "melangkah" melalui serangkaian arahan pencarian yang optimal dari kekuatan matriks yang diterapkan pada residu ke- $n$ . Apakah prinsip ini umum untuk semua metode ruang bagian Krylov? Jika tidak, bagaimana kita mengkarakterisasi prinsip di balik konvergensi metode ruang bagian Krylov, secara umum?

— Paul
sumber

Analisis Anda terhadap metode stasioner bias oleh masalah model sederhana, karena ini dapat dianalisis dalam hal mode Fourier. Ini juga mengabaikan alternating direction implisit (ADI) dan banyak metode lainnya. Inti dari sebagian besar "Metode Stationary" adalah untuk menggabungkan banyak solver "aproksimasi parsial" sederhana menjadi satu solver iteratif. Inti dari metode Krylov adalah untuk mempercepat (atau bahkan menegakkan) konvergensi iterasi linear stasioner yang diberikan.

— Thomas Klimpel

Sebuah makalah yang saya pikir ditulis untuk menjawab pertanyaan Anda adalah Ipsen dan Meyer, Gagasan di balik metode Krylov, Amer. Matematika Bulanan 105 (1998) hlm. 889-899. Ini adalah makalah yang ditulis dengan sangat baik dan menjelaskan, tersedia di sini .

— Andrew T. Barker

@ AndrewT.Barker: Luar biasa! Andrew terima kasih! :)

— Paul

Jawaban:

Secara umum, semua metode Krylov pada dasarnya mencari polinomial yang kecil ketika dievaluasi pada spektrum matriks. Secara khusus, sisa ke- dari metode Krylov (dengan nol tebakan awal) dapat ditulis dalam formulir $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

di mana adalah beberapa polinomial monik tingkat . $P_n$ $n$

Jika dapat didiagonalisasi, dengan , kita miliki $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

Jika adalah normal (misalnya, simetris atau kesatuan) kita tahu bahwa GMRES membangun polinomial melalui iterasi Arnoldi, sedangkan CG membangun polinomial menggunakan produk dalam yang berbeda (lihat jawaban ini untuk detail) . Demikian pula, BiCG membangun polinomialnya melalui proses Lanczos nonsimetrik, sementara iterasi Chebyshev menggunakan informasi sebelumnya tentang spektrum (biasanya estimasi nilai eigen terbesar dan terkecil untuk matriks pasti simetris). $A$ $\kappa(V) = 1.$

Sebagai contoh keren (termotivasi oleh Trefethen + Bau), pertimbangkan sebuah matriks yang spektrumnya adalah ini:

Spektrum matriks

Di MATLAB, saya membuat ini dengan:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Jika kita mempertimbangkan GMRES, yang membangun polinomial yang sebenarnya meminimalkan residu di atas semua polinomial monik derajat , kita dapat dengan mudah memprediksi riwayat residu dengan melihat kandidat polinomial $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

yang dalam kasus kami memberi

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

untuk dalam spektrum . $z$ $A$

Sekarang, jika kita menjalankan GMRES pada RHS acak dan membandingkan riwayat residu dengan polinomial ini, mereka seharusnya sangat mirip (nilai polinomial kandidat lebih kecil daripada residu GMRES karena ): $\|b\|_2 > 1$

Sisa sejarah

— Reid.Atcheson
sumber

Bisakah Anda mengklarifikasi apa yang Anda maksud dengan "kecil pada spektrum matriks"?

— Paul

Diambil sebagai polinomial kompleks, polinomial

memiliki modulus kecil di wilayah bidang kompleks yang mencakup spektrum

. Bayangkan plot kontur yang ditumpangkan pada sebaran plot nilai eigen. Seberapa kecil itu kecil? Tergantung pada masalahnya, apakah

normal, dan sisi kanan

Namun ide dasarnya adalah bahwa urutan polinomial

berusaha untuk semakin kecil pada spektrum sehingga estimasi residual dalam jawaban saya cenderung

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson

@ Reid.Atcheson: Sangat bagus. Bolehkah saya merekomendasikan menulis

sebagai

dan menyebutkan bahwa itu adalah satu untuk matriks normal?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson

Laplacian yang dikondisikan oleh SOR optimal memiliki spektrum yang sangat mirip dengan matriks contoh ini. Detail di sini: scicomp.stackexchange.com/a/852/119

— Jed Brown

Sebenarnya, CGNE tidak tergantung pada spektrum karena hanya bergantung pada nilai-nilai singular.

— Jed Brown

Pada norma

$n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

$A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

tempat kami menggunakan kesalahan

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

$A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Ketajaman batas konvergensi

Akhirnya, ada literatur yang menarik mengenai berbagai metode Krylov dan seluk-beluk konvergensi GMRES, terutama untuk operator yang tidak normal.

Nachtigal, Reddy, dan Trefethen (1992) Seberapa cepat iterasi matriks nonsimetrik? (pdf penulis) memberikan contoh matriks yang salah satu metode mengalahkan yang lain dengan faktor besar (setidaknya akar kuadrat dari ukuran matriks).
Embree (1999) Seberapa deskriptif batas konvergensi GMRES? memberikan diskusi yang mendalam dalam hal pseudospectra yang memberikan batas yang lebih tajam dan juga berlaku untuk matriks yang tidak dapat didiagonalisasi.
Embree (2003) Kura-kura dan kelinci memulai kembali GMRES (penulis pdf)
Greenbaum, Pták, dan Strakoš (1996) Setiap kurva konvergensi yang tidak bertambah dimungkinkan untuk GMRES

— Jed Brown
sumber

Anda meninggalkan buku yang bagus oleh Olavi Nevanlinna: books.google.com/...

— Matt Knepley

Singkatnya metode berulang:

$Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

Ini dijelaskan dengan baik dalam buku Youcef Saad tentang metode berulang .

— Christian Clason
sumber