Cara memilih metode untuk menyelesaikan persamaan linear

Sepengetahuan saya, ada 4 cara untuk memecahkan sistem persamaan linear (koreksi saya jika ada lebih banyak):

1. Jika matriks sistem adalah matriks kuadrat peringkat penuh, Anda dapat menggunakan Aturan Cramer;
2. Hitung invers atau pseudoinverse dari matriks sistem;
3. Gunakan metode dekomposisi matriks (eliminasi Gaussian atau Gauss-Jordan dianggap sebagai dekomposisi LU);
4. Gunakan metode berulang, seperti metode gradien konjugat.

Bahkan, Anda hampir tidak pernah ingin menyelesaikan persamaan dengan menggunakan aturan Cramer atau menghitung invers atau pseudoinverse, terutama untuk matriks dimensi tinggi, jadi pertanyaan pertama adalah kapan harus menggunakan metode dekomposisi dan metode iteratif, masing-masing. Saya kira itu tergantung pada ukuran dan properti dari matriks sistem.

Pertanyaan kedua adalah, sepengetahuan Anda, metode dekomposisi atau metode iteratif seperti apa yang paling cocok untuk matriks sistem tertentu dalam hal stabilitas dan efisiensi numerik.

Sebagai contoh, metode gradien konjugat digunakan untuk menyelesaikan persamaan di mana matriksnya simetris dan pasti positif, meskipun itu juga dapat diterapkan ke persamaan linear dengan mengonversi ke . Juga untuk matriks pasti positif, Anda dapat menggunakan metode dekomposisi Cholesky untuk mencari solusinya. Tapi saya tidak tahu kapan harus memilih metode CG dan kapan harus memilih pembusukan Cholesky. Perasaan saya adalah kita sebaiknya menggunakan metode CG untuk matriks besar.$\mathbf{A}x=b$$\mathbf{A}^{\rm T}\mathbf{A}x=\mathbf{A}^{\rm T}b$

Untuk matriks persegi panjang, kita dapat menggunakan dekomposisi QR atau SVD, tetapi sekali lagi saya tidak tahu bagaimana memilih salah satunya.

Untuk matriks lain, sekarang saya tidak bagaimana memilih pemecah yang tepat, seperti matriks Hermitian / simetris, matriks jarang, matriks band dll.

Pertanyaan Anda agak seperti menanyakan obeng mana yang akan dipilih tergantung pada drive (slot, Phillips, Torx, ...): Selain ada terlalu banyak , pilihan juga tergantung pada apakah Anda ingin hanya mengencangkan satu sekrup atau merakit sebuah seluruh set rak perpustakaan. Namun demikian, dalam jawaban parsial untuk pertanyaan Anda, berikut adalah beberapa masalah yang harus Anda ingat ketika memilih metode untuk menyelesaikan sistem linear . Saya juga akan membatasi diri saya pada matriks yang dapat dibalik; kasus-kasus sistem yang kelebihan atau tidak ditentukan adalah masalah yang berbeda dan harus benar-benar menjadi pertanyaan yang terpisah.$Ax=b$

Seperti yang Anda catat dengan benar, opsi 1 dan 2 benar: Menghitung dan menerapkan matriks terbalik adalah ide yang sangat buruk, karena jauh lebih mahal dan sering kurang stabil secara numerik daripada menerapkan salah satu algoritma lainnya. Itu membuat Anda memiliki pilihan antara metode langsung dan berulang. Hal pertama yang perlu dipertimbangkan bukanlah matriks , tetapi apa yang Anda harapkan dari solusi numerik ˜ x :$A$$\tilde x$

1. Seberapa akurat seharusnya? Apakah harus menyelesaikan sistem hingga presisi mesin, atau apakah Anda puas dengan ˜ x memuaskan (katakanlah) ‖ ˜ x - x ∗ ‖ < 10 - 3 , di mana x ∗ adalah solusi yang tepat?$\tilde x$$\tilde x$$\|\tilde x - x^*\| < 10^{-3}$$x^*$
2. Seberapa cepat Anda membutuhkannya? Satu-satunya metrik yang relevan di sini adalah waktu jam di komputer Anda - metode yang menskala dengan sempurna pada sekelompok besar mungkin bukan pilihan terbaik jika Anda tidak memilikinya, tetapi Anda memiliki salah satu kartu Tesla baru yang mengkilap.

Karena tidak ada makan siang gratis, Anda biasanya harus memutuskan pertukaran antara keduanya. Setelah itu, Anda mulai melihat matriks (dan perangkat keras Anda) untuk memutuskan metode yang baik (atau lebih tepatnya, metode yang Anda bisa temukan implementasi yang baik). (Perhatikan bagaimana saya menghindari menulis "terbaik" di sini ...) Properti paling relevan di sini adalah$A$

• The Struktur : Is simetris? Apakah padat atau jarang? Terikat?$A$
• Nilai eigen : Apakah semuanya positif (yaitu, apakah pasti positif)? Apakah mereka terkelompok? Apakah beberapa dari mereka memiliki ukuran yang sangat kecil atau sangat besar?$A$

Dengan pemikiran ini, Anda kemudian harus menjelajah literatur (besar) dan mengevaluasi berbagai metode yang Anda temukan untuk masalah spesifik Anda. Berikut adalah beberapa pernyataan umum:

• $1000$$\mathcal{O}(n^2)$$\mathcal{O}(n^3)$$A$

  Ini juga berlaku untuk matriks sparse (besar) jika Anda tidak mengalami masalah memori: Matriks jarang pada umumnya tidak memiliki dekomposisi LU yang jarang, dan jika faktor-faktor tidak sesuai dengan memori (cepat), metode ini menjadi tidak dapat digunakan.

  $A$

• $A$$A$

• Jika Anda berulang kali harus menyelesaikan sistem linear dengan matriks yang sama dan sisi kanan yang berbeda, metode langsung masih bisa lebih cepat daripada metode berulang karena Anda hanya perlu menghitung dekomposisi sekali. (Ini mengasumsikan solusi berurutan; jika Anda memiliki semua sisi kanan pada saat yang sama, Anda dapat menggunakan metode blok Krylov.)

Tentu saja, ini hanyalah pedoman yang sangat kasar: Untuk setiap pernyataan di atas, kemungkinan ada matriks yang sebaliknya benar ...

Karena Anda meminta referensi dalam komentar, berikut adalah beberapa buku teks dan makalah ulasan untuk Anda mulai. (Tidak satu pun dari ini - maupun set - yang komprehensif; pertanyaan ini terlalu luas, dan terlalu tergantung pada masalah khusus Anda.)

• Golub, van Loan: Matrix Computations (masih merupakan referensi klasik tentang algoritma matriks; edisi keempat yang lebih berkembang sekarang juga membahas matriks yang jarang dan memiliki kode Matlab sebagai pengganti Fortran serta bibliografi yang luas)
• Davis: Metode Langsung untuk Sistem Linier Jarang (pengantar yang bagus tentang metode dekomposisi untuk matriks jarang)
• Duff: Metode Langsung (kertas ulasan; rincian lebih lanjut tentang metode langsung "multifrontal" modern untuk matriks jarang)
• Saad: Metode berulang untuk sistem linear jarang (teori dan - pada tingkat lebih rendah - praktik metode Krylov; juga mencakup prakondisi)

Pohon keputusan dalam Bagian 4 bab yang relevan dalam Manual Perpustakaan NAG menjawab (sebagian) beberapa pertanyaan Anda.

Dokumentasi Eigen Library juga memiliki halaman ikhtisar yang bagus dengan banyak informasi tentang berbagai dekomposisi matriks:

http://eigen.tuxfamily.org/dox/group__TopicLinearAlgebraDecompositions.html