Apa kompleksitas kasus terburuk dari Conjugate Gradient?

9

Biarkan $A\in \mathbb{R}^{n\times n}$ , simetris dan pasti positif. Misalkan dibutuhkan $m$ unit kerja untuk memperbanyak vektor oleh $A$ . Diketahui bahwa melakukan algoritma CG pada $A$ dengan kondisi nomor $\kappa$ membutuhkan $\mathcal{O} (m\sqrt{\kappa})$ , unit kerja.

Sekarang, tentu saja, sebagai pernyataan $\mathcal{O}$ ini adalah batas atas. Dan algoritma CG selalu dapat berakhir dalam nol langkah dengan tebakan awal yang beruntung.

Apakah kita tahu jika ada RHS dan tebakan awal (sial) yang membutuhkan $\mathcal{\Theta}(\sqrt{\kappa})$ langkah? Dengan kata lain, apakah kompleksitas kerja kasus terburuk dari CG benar-benar $\Theta( m \sqrt{\kappa})$ ?

Pertanyaan ini muncul ketika saya mencoba menentukan apakah manfaat dari prekondisi ( lebih rendah $\kappa$ ) melebihi biayanya (lebih tinggi $m$ ). Saat ini, saya bekerja dengan masalah mainan dan ingin memiliki ide yang lebih baik sebelum saya menerapkan apa pun dalam bahasa yang dikompilasi.

conjugate-gradient

— fred
sumber

5

Anda mungkin dapat membuat dugaan awal pesimis dengan menjalankan algoritme CG "mundur" dan memasukkan energi yang sesuai ke masing-masing arahan pencarian

A

$A$ ortogonal yang dibutuhkan semua langkah.

— origimbo

9

Jawabannya adalah ya. Batas laju konvergensi tajam pada himpunan matriks pasti positif simetris dengan nomor kondisi. Dengan kata lain, mengetahui apa-apa tentangdaripada jumlah kondisinya, CG benar-benar dapat mengambil $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ iterasi untuk konvergen. Secara longgar, batas atas diperoleh jika nilai eigen dariterdistribusi secara seragam (yaitu "dibumbui") dalam interval angka kondisi. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Ini pernyataan yang lebih keras. Versi deterministik lebih banyak terlibat tetapi bekerja menggunakan prinsip yang sama.

Teorema (Pilihan kasus terburuk dari ). Pilih salah satu matriks ortogonal acak , misalkan menjadi real yang diambil secara sampel dari interval nyata , dan misalkan menjadi bilangan real yang diambil sampel dari Gaussian standar. Tentukan $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Kemudian pada batas , gradien konjugat akan bertemu dengan probabilitas satu ke solusi akurat dalam tidak kurang dari

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

iterasi.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Bukti. Bukti standar didasarkan pada perkiraan polinomial Chebyshev yang optimal, menggunakan teknik yang ditemukan di sejumlah tempat, seperti buku Greenbaum atau buku Saad .

— Richard Zhang
sumber

1

Batasnya tidak tajam, seperti jawaban yang dijelaskan kemudian, Jika nilai eigen tidak terdistribusi secara merata, cg konvergen lebih cepat, karena itu bukan iterasi stasional. Jadi, kita perlu tahu lebih banyak tentang matriks.

— Guido Kanschat

A

$A$

κ

$\kappa$

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

0

Mengambil ini sebagai pertanyaan awal saya: Apakah kita tahu jika ada RHS dan tebakan awal (tidak beruntung) yang memerlukan langkah-langkah ? $\Theta(\sqrt{\kappa})$

Jawaban atas pertanyaannya adalah "tidak". Ide jawaban ini berasal dari komentar dari Guido Kanschat.

Klaim: Untuk setiap nomor kondisi diberikan , terdapat matriks , dengan nomor kondisi yang akan diakhiri algoritma CG paling banyak dalam dua langkah (untuk RHS dan tebakan awal yang diberikan). $k$ $A$

Pertimbangkan mana . Maka nomor kondisi adalah . Biarkan menjadi RHS, dan tunjukkan nilai eigen dari sebagai mana $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Kami pertama-tama mempertimbangkan kasus di mana , tebakan awal, adalah nol. Nyatakan sebagai estimasi kedua dari algoritma CG. Kami menunjukkan bahwa dengan menunjukkan . Memang sudah $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

Di mana kami menggunakan polinomial orde pertama didefinisikan sebagai . Jadi kami membuktikan kasus untuk . $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

Jika , maka mana adalah estimasi kedua dari algoritma CG dengan diganti dengan . Jadi kami telah mengurangi kasus ini ke yang sebelumnya. $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— fred
sumber

Berapa banyak dari ini yang kuat untuk aritmatika presisi terbatas?

— origimbo

@origimbo Jika pertanyaan Anda ditujukan kepada saya, jawabannya adalah, "Saya tidak tahu."

— fred