Mengapa sistem linear yang dikondisikan dengan buruk dapat diselesaikan dengan tepat?

Menurut jawaban di sini , angka kondisi besar (untuk penyelesaian sistem linier) mengurangi jumlah digit yang benar dalam solusi floating point. Matriks diferensiasi orde tinggi dalam metode pseudospectral biasanya sangat dikondisikan. Mengapa saat itu mereka masih merupakan metode yang sangat akurat?

Saya memahami bahwa presisi rendah yang berasal dari matriks yang dikondisikan buruk hanya merupakan nilai yang dijamin , tetapi tetap saja membuat saya bertanya-tanya mengapa matriks yang dikondisikan secara akurat diselesaikan dengan metode langsung dalam praktiknya - misalnya, LCOLkolom Tabel 3.1 pada halaman 11 dari Wang et al., METODE KOLOKASI YANG BAIK DENGAN KONDISI MENGGUNAKAN MATRIX INTEGRASI PSEUDOSPECTRAL , SIAM J. Sci. Komputasi, 36 (3) .

Ditambahkan setelah jawaban awal saya:

Tampak bagi saya sekarang bahwa penulis makalah yang direferensikan memberikan angka kondisi (angka kondisi 2-norma tetapi angka kondisi norma tak terhingga) dalam tabel sambil memberikan kesalahan absolut maksimum daripada kesalahan relatif normal atau kesalahan relatif elemenwise maksimum ( ini semua adalah ukuran yang berbeda.) Perhatikan bahwa kesalahan relatif elemen-elemen maksimum tidak sama dengan kesalahan relatif norma-tak terhingga. Selain itu, kesalahan dalam tabel relatif terhadap solusi yang tepat untuk masalah nilai batas persamaan diferensial asli daripada sistem linear persamaan diskritisasi. Dengan demikian informasi yang disediakan dalam makalah benar-benar tidak sesuai untuk digunakan dengan batas kesalahan berdasarkan nomor kondisi.

Namun, dalam replikasi perhitungan saya, saya memang melihat situasi di mana kesalahan norma tak terhingga relatif (atau kesalahan relatif dua norma) secara substansial lebih kecil daripada terikat yang ditetapkan oleh nomor kondisi tak terhingga-norma (masing-masing nomor kondisi 2-norma.) Terkadang Anda beruntung.

Saya menggunakan paket DMSUITE MATLAB dan memecahkan contoh masalah dari makalah ini menggunakan metode pseudospectral dengan polinomial Chebyshev. Nomor kondisi saya dan kesalahan absolut maksimum mirip dengan yang dilaporkan di koran.

Saya juga melihat kesalahan relatif norma yang agak lebih baik dari yang diperkirakan berdasarkan nomor kondisi. Sebagai contoh, pada contoh masalah dengan , menggunakan N = 1024 , saya dapatkan$\epsilon=0.01$$N=1024$

cond (A, 2) = 7.9e + 8

cond (A, inf) = 7.8e + 8

norm (u-uexact, 2) / norm (uexact, 2) = 3.1e-12

norm (u-uexact, inf) / norm (uexact, inf) = 2.7e-12

Tampaknya solusinya bagus untuk sekitar 11-12 digit, sedangkan nomor kondisinya ada di urutan 1e8.

Namun, situasi dengan kesalahan elemen-elemen lebih menarik.

maks (abs (u-uexact)) = 2.7e-12

Itu masih terlihat bagus.

maks (abs ((u-uexact) ./ uexact) = 6.1e + 9

Wow- ada kesalahan relatif yang sangat besar dalam setidaknya satu komponen solusi.

Apa yang terjadi? Solusi yang tepat dari persamaan ini memiliki komponen yang kecil (mis. 1.9e-22) sedangkan solusi perkiraan keluar pada nilai yang jauh lebih besar dari 9e-14. Ini disembunyikan oleh pengukuran kesalahan relatif norma (apakah itu 2-norma atau tak terhingga-norma) dan hanya menjadi terlihat ketika Anda melihat kesalahan relatif elemen-elemen dan mengambil maksimum.

Jawaban asli saya di bawah ini menjelaskan mengapa Anda bisa mendapatkan kesalahan relatif normal dalam solusi yang kurang dari batas yang diberikan oleh nomor kondisi.

---

Seperti yang telah Anda catat dalam pertanyaan, nomor kondisi, , dari matriks non-singular memberikan kesalahan relatif kasus terburuk yang terikat untuk solusi untuk sistem persamaan yang terganggu. Yaitu, jika kita menyelesaikan A ( x + Δ x ) = b + Δ b dengan tepat dan menyelesaikan A x = b dengan tepat, maka$\kappa(A)$$A(x+\Delta x)=b+\Delta b$$Ax=b$

$\frac{\| \Delta x \|}{\| x \|} \leq \kappa(A) \frac{\| \Delta b \|}{\| b \|}$

Nomor kondisi dapat dihitung sehubungan dengan berbagai norma, tetapi nomor kondisi dua norma sering digunakan, dan itulah nomor kondisi yang digunakan dalam kertas yang Anda rujuk.

Kesalahan kasus terburuk terjadi ketika adalah vektor singular kiri A yang sesuai dengan nilai singular terkecil dari A . Kasus terbaik terjadi ketika Δ b adalah vektor singular kiri A yang sesuai dengan nilai singular A terbesar . Ketika Δ b adalah acak, maka Anda harus melihat proyeksi Δ b pada semua vektor singular kiri A dan nilai singular yang sesuai. Bergantung pada spektrum A , segalanya mungkin berjalan sangat buruk atau sangat baik. $\Delta b$$A$$A$$\Delta b$$A$$A$$\Delta b$$\Delta b$$A$$A$

Pertimbangkan dua matriks , keduanya dengan nomor kondisi 2-norma 1,0 × 10 10 . Matriks pertama memiliki nilai singular 1 , 1 × 10 - 10 , … , 1 × 10 - 10 . Matriks kedua memiliki nilai singular 1 , 1 , … , 1 , 1 × 10 - 10 . $A$$1.0 \times 10^{10}$$1$$1 \times 10^{-10}$$\ldots$$1 \times 10^{-10}$$1$$1$$\ldots$$1$$1 \times 10^{-10}$

Dalam kasus pertama, gangguan acak tidak mungkin berada dalam arah vektor singular kiri pertama, dan lebih cenderung dekat dengan salah satu vektor singular dengan nilai singular . Dengan demikian perubahan relatif dalam solusi cenderung sangat besar. Dalam kasus kedua, hampir semua gangguan akan dekat ke arah vektor singular dengan nilai singular 1 , dan perubahan relatif dalam solusi akan kecil. $1 \times 10^{-10}$$1$

PS (ditambahkan kemudian setelah saya kembali dari kelas yoga ...)

Rumus untuk solusi untuk adalah$A\Delta x = \Delta b$

$\Delta x = V \Sigma^{-1} U^{T} \Delta b=\sum_{i=1}^{n} \frac{U_{i}^{T}\Delta b}{\sigma_{i}} V_{i}$

Oleh teorema Pythagoras,

$\| \Delta x \|_{2}^{2}= \sum_{i=1}^{n} \left( \frac{U_{i}^{T}\Delta b}{\sigma_{i}} \right)^{2}$

Jika kita tetap , maka jumlah ini dimaksimalkan ketika Δ b = U n dan diminimalkan ketika Δ b = U 1 .$\| \Delta b \|_{2}=1$$\Delta b=U_{n}$$\Delta b=U_{1}$

Dalam situasi yang dipertimbangkan di sini, adalah hasil dari kesalahan pembulatan acak, sehingga nilai U T i Δ b semuanya harus besarnya kira-kira sama. Istilah dengan nilai yang lebih kecil dari σ i akan berkontribusi banyak pada kesalahan, sementara istilah dengan nilai yang lebih besar dari σ saya tidak akan berkontribusi banyak. Bergantung pada spektrumnya, ini bisa dengan mudah jauh lebih kecil dari batas kasus terburuk. $\Delta b$$U_{i}^{T}\Delta b$$\sigma_{i}$$\sigma_{i}$

tl; dr Mereka melaporkan sebuah nomor kondisi, belum tentu tepat jumlah kondisi matriks, karena ada perbedaan.

Ini khusus untuk matriks dan vektor sisi kanan. Jika Anda melihat dokumentasi untuk*getrs , dikatakan batas kesalahan maju adalah Di sinicond(A,x)tidak cukup seperti bilangan kondisiκ∞(A), melainkan cond(A,x)=‖| A -

$$\frac{\|x-x_0\|_\infty}{\|x\|_\infty} \lesssim \mathrm{cond}(A,x)u \leq \mathrm{cond}(A)u.$$ $\mathrm{cond}(A,x)$$\kappa_\infty(A)$ (Di sini di dalam norma ini adalah nilai absolut komponen-bijaksana.) Lihat, misalnya,perbaikan berulang untuk sistem linier dan LAPACKoleh Higham, atauAkurasi dan Stabilitas Algoritma NumerikHigham(7.2). $$\mathrm{cond}(A,x) = \frac{\||A^{-1}||A||x|\|_\infty}{\|x\|_\infty},\\ \mathrm{cond}(A) = \||A^{-1}||A|\|.$$

Sebagai contoh Anda, saya mengambil operator diferensial pseudospectral untuk masalah yang sama dengan , dan sebenarnya ada perbedaan besar antara ‖ | A - 1 | | A | ‖ Dan κ ∞ ( A ) , saya menghitung 7 × 10 3 dan 2,6 × 10 $n=128$$\||A^{-1}||A|\|$$\kappa_\infty(A)$$7\times 10^3$$2.6\times 10^7$, yang cukup untuk menjelaskan pengamatan bahwa ini terjadi untuk semua sisi kanan, karena urutan besarnya kira-kira sesuai dengan yang terlihat pada Tabel 3.1 (3-4 urutan kesalahan yang lebih baik). Ini tidak bekerja ketika saya mencoba sama untuk hanya random matrix sakit-AC, sehingga harus menjadi milik .$A$

Contoh eksplisit di mana kedua nomor kondisi tidak cocok, yang saya ambil dari Higham (7.17, hal.124), karena Kahan adalah Contoh lain yang saya temukan hanyalah matriks Vandermonde polosdenganbacak. Saya melewatidan beberapa matriks berkondisi buruk lainnya juga menghasilkan jenis hasil ini, sepertidan.

$$\begin{pmatrix}2&-1&1\\-1&\epsilon&\epsilon\\1&\epsilon&\epsilon\end{pmatrix}, \qquad \begin{pmatrix}2+2\epsilon\\-\epsilon\\\epsilon\end{pmatrix}.$$ [1:10]$b$MatrixDepot.jltriwmoler

Pada dasarnya, apa yang terjadi adalah ketika Anda menganalisis stabilitas penyelesaian sistem linier sehubungan dengan gangguan, Anda harus terlebih dahulu menentukan gangguan mana yang Anda pertimbangkan. Saat memecahkan sistem linier dengan LAPACK, batas kesalahan ini mempertimbangkan gangguan komponen-bijaksana dalam , tetapi tidak ada gangguan di b . Jadi ini berbeda dari yang biasa κ ( A ) = ‖ A - 1 ‖ ‖ A ‖ , yang menganggap gangguan normwise di kedua A dan b .$A$$b$$\kappa(A) = \|A^{-1}\|\|A\|$$A$$b$

Pertimbangkan (sebagai contoh tandingan) juga apa yang akan terjadi jika Anda tidak membuat perbedaan. Kita tahu bahwa menggunakan perbaikan berulang dengan presisi ganda (lihat tautan di atas) kita bisa mendapatkan kesalahan relatif ke depan yang paling baik dari untuk matriks dengan κ ( A ) ≪ 1 / u . Jadi jika kita mempertimbangkan gagasan bahwa sistem linier tidak dapat diselesaikan dengan akurasi lebih baik daripada κ ( A ) u , bagaimana mungkin solusi pemurnian bekerja?$O(u)$$\kappa(A)\ll 1/u$$\kappa(A)u$

PS Itu penting yang ?getrsmengatakan solusi dihitung adalah solusi yang benar (A + E)x = bdengan perturbasi di A , tetapi tidak ada gangguan di b . Keadaan akan berbeda jika gangguan diizinkan di b .$E$$A$$b$$b$

Mengedit Untuk menunjukkan ini bekerja lebih langsung, dalam kode, bahwa ini bukan kebetulan atau masalah keberuntungan, melainkan (biasa) konsekuensi dari dua angka kondisi yang sangat berbeda untuk beberapa matriks tertentu, yaitu,

$$\mathrm{cond}(A,x) \approx \mathrm{cond}(A) \ll \kappa(A).$$

function main2(m=128)
    A = matrixdepot("chebspec", m)^2
    A[1,:] = A[end,:] = 0
    A[1,1] = A[end,end] = 1
    best, worst = Inf, -Inf
    for k=1:2^5
        b = randn(m)
        x = A \ b
        x_exact = Float64.(big.(A) \ big.(b))
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        best, worst = min(best, err), max(worst, err)
    end
    @printf "Best relative error:       %.3e\n" best
    @printf "Worst relative error:      %.3e\n" worst
    @printf "Predicted error κ(A)*ε:    %.3e\n" cond(A, Inf)*eps()
    @printf "Predicted error cond(A)*ε: %.3e\n" norm(abs.(inv(A))*abs.(A), Inf)*eps()
end

julia> main2()
Best relative error:       2.156e-14
Worst relative error:      2.414e-12
Predicted error κ(A)*ε:    8.780e-09
Predicted error cond(A)*ε: 2.482e-12

Sunting 2 Berikut adalah contoh lain dari fenomena yang sama di mana kondisi yang berbeda jumlahnya berbeda-beda. Kali ini, Di sini A adalah matriks Vandermonde 10 × 10 pada 1 : 10 , dan ketika x dipilih secara acak, c o n d ( A , x ) secara nyata lebih kecil dari

$$\mathrm{cond}(A, x) \ll \mathrm{cond}(A) \approx \kappa(A).$$ $A$$1:10$$x$$\mathrm{cond}(A,x)$ , dan kasus terburuk x diberikan oleh x i = i a untuk beberapa a .$\kappa(A)$$x$$x_i = i^a$$a$

function main4(m=10)
    A = matrixdepot("vand", m)
    lu = lufact(A)
    lu_big = lufact(big.(A))
    AA = abs.(inv(A))*abs.(A)
    for k=1:12
        # b = randn(m) # good case
        b = (1:m).^(k-1) # worst case
        x, x_exact = lu \ b, lu_big \ big.(b)
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        predicted = norm(AA*abs.(x), Inf)/norm(x, Inf)*eps()
        @printf "relative error[%2d]    = %.3e (predicted cond(A,x)*ε = %.3e)\n" k err predicted
    end
    @printf "predicted κ(A)*ε      = %.3e\n" cond(A)*eps()
    @printf "predicted cond(A)*ε   = %.3e\n" norm(AA, Inf)*eps()
end

Kasus rata-rata (hampir 9 urutan kesalahan lebih besar lebih baik):

julia> T.main4()
relative error[1]     = 6.690e-11 (predicted cond(A,x)*ε = 2.213e-10)
relative error[2]     = 6.202e-11 (predicted cond(A,x)*ε = 2.081e-10)
relative error[3]     = 2.975e-11 (predicted cond(A,x)*ε = 1.113e-10)
relative error[4]     = 1.245e-11 (predicted cond(A,x)*ε = 6.126e-11)
relative error[5]     = 4.820e-12 (predicted cond(A,x)*ε = 3.489e-11)
relative error[6]     = 1.537e-12 (predicted cond(A,x)*ε = 1.729e-11)
relative error[7]     = 4.885e-13 (predicted cond(A,x)*ε = 8.696e-12)
relative error[8]     = 1.565e-13 (predicted cond(A,x)*ε = 4.446e-12)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

Kasus terburuk ( ):$a=1,\ldots,12$

julia> T.main4()
relative error[ 1]    = 0.000e+00 (predicted cond(A,x)*ε = 6.608e-13)
relative error[ 2]    = 1.265e-13 (predicted cond(A,x)*ε = 3.382e-12)
relative error[ 3]    = 5.647e-13 (predicted cond(A,x)*ε = 1.887e-11)
relative error[ 4]    = 8.895e-74 (predicted cond(A,x)*ε = 1.127e-10)
relative error[ 5]    = 4.199e-10 (predicted cond(A,x)*ε = 7.111e-10)
relative error[ 6]    = 7.815e-10 (predicted cond(A,x)*ε = 4.703e-09)
relative error[ 7]    = 8.358e-09 (predicted cond(A,x)*ε = 3.239e-08)
relative error[ 8]    = 1.174e-07 (predicted cond(A,x)*ε = 2.310e-07)
relative error[ 9]    = 3.083e-06 (predicted cond(A,x)*ε = 1.700e-06)
relative error[10]    = 1.287e-05 (predicted cond(A,x)*ε = 1.286e-05)
relative error[11]    = 3.760e-10 (predicted cond(A,x)*ε = 1.580e-09)
relative error[12]    = 3.903e-10 (predicted cond(A,x)*ε = 1.406e-09)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

$$A = \begin{pmatrix} 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \\ \epsilon&0&0&0 \end{pmatrix}.$$ $\|A\|=1$$\|A^{-1}\|=\epsilon^{-1}$$\kappa_\infty(A) = \epsilon^{-1}$$|A^{-1}| = A^{-1} = |A|^{-1}$$\mathrm{cond}(A) = 1$$Ax=b$$\kappa_\infty(A)$

$\mathrm{cond}(A)\ll \kappa(A)$

A = matrixdepot("kahan", 48)
κ, c = cond(A, Inf), norm(abs.(inv(A))*abs.(A), Inf)
@printf "κ=%.3e c=%.3e ratio=%g\n" κ c (c/κ)

κ=8.504e+08 c=4.099e+06 ratio=0.00482027