Cepat menentukan apakah matriks padat peringkat rendah atau tidak

13

Dalam proyek perangkat lunak yang saya kerjakan, perhitungan tertentu jauh lebih mudah untuk matriks peringkat rendah yang padat. Beberapa contoh masalah melibatkan matriks peringkat rendah yang padat, tetapi mereka diberikan kepada saya secara penuh, bukan sebagai faktor, jadi saya harus memeriksa peringkat dan faktor matriks jika saya ingin mengambil keuntungan dari struktur peringkat rendah .

Matriks yang dimaksud biasanya sepenuhnya atau hampir sepenuhnya padat, dengan n berkisar dari seratus hingga beberapa ribu. Jika sebuah matriks memiliki peringkat rendah (katakanlah kurang dari 5 sampai 10), maka menghitung SVD dan menggunakannya membentuk faktorisasi peringkat rendah yang sepadan dengan usaha. Namun, jika matriksnya bukan peringkat rendah, maka upaya itu akan sia-sia.

Jadi saya ingin menemukan cara yang cepat dan cukup andal untuk menentukan apakah peringkatnya rendah atau tidak sebelum menginvestasikan upaya untuk melakukan faktorisasi SVD lengkap. Jika pada suatu saat menjadi jelas bahwa peringkat berada di atas cutoff, prosesnya dapat segera berhenti. Jika prosedur tersebut secara keliru menyatakan bahwa matriksnya berpangkat rendah ketika tidak, ini bukan masalah besar, karena saya masih akan melakukan SVD penuh untuk mengkonfirmasi peringkat rendah dan menemukan faktorisasi peringkat rendah.

Opsi yang saya pertimbangkan termasuk peringkat yang mengungkapkan LU atau faktorisasi QR diikuti oleh SVD lengkap sebagai cek. Apakah ada pendekatan lain yang harus saya pertimbangkan?

— Brian Borchers
sumber

8

Ada trik rapi yang baru saya pelajari dari makalah ini . Anda mulai melakukan QR yang mengungkapkan peringkat, dan berhenti setelah Refleksi Householder pertama , ketika Anda memiliki matriks bentuk dengan segitiga ukuran , dan $k$

[\begin{matrix} R_{1} & R_{12} \\ 0 & R_{22} \end{matrix}],

$\begin{bmatrix} R_1 & R_{12}\\ 0 & R_{22} \end{bmatrix},$

R_{1}

$R_1$

k \times k

$k\times k$

biasanya tidak segitiga (karena kita berhenti setelah yang pertama

iterasi dari loop utama kami). Pada titik ini, Anda memeriksa apakah

: jika ada, maka

R_{22}

$R_{22}$

k

$k$

‖ R_{22} ‖ \leq ε

$\|R_{22}\| \leq \varepsilon$

A

$A$ berada pada jarak paling jauh

dari matriks peringkat

; jika tidak seharusnya tidak (kecuali kesalahan numerik).

ε

$\varepsilon$

\leq k

$\leq k$

Prosedur ini menghabiskan biaya untuk matriks padat . $O(n^2k)$ $n\times n$

— Federico Poloni
sumber

Ini pada dasarnya adalah pendekatan yang saya jelaskan dalam pertanyaan. Saya berpikir bahwa jawaban yang diusulkan Wolfgang Bangerth bisa melakukan lebih baik dari

.

O (n^{2} k)

$O(n^{2}k)$

— Brian Borchers

7

Masalahnya, tentu saja, adalah bahwa menghitung peringkat sebenarnya (misalnya, melalui dekomposisi QR) tidak benar-benar lebih murah daripada menghitung representasi matriks peringkat-rendah.

Yang terbaik yang dapat Anda lakukan adalah menggunakan algoritma acak untuk menemukan perkiraan peringkat rendah. Ini dapat, setidaknya secara teori, secara signifikan lebih cepat daripada bekerja pada seluruh matriks karena, pada dasarnya, mereka hanya menghitung dekomposisi untuk proyeksi matriks ke ruang bagian acak.

Entah itu layak untuk ukuran matriks mungkin merupakan pertanyaan yang bagus, tetapi jika masalah Anda benar-benar menjadi besar, saya akan curiga bahwa itu terbayar. $100\times 100$

— Wolfgang Bangerth
sumber

Dari apa yang saya ketahui tentang algoritma ini, mereka menghasilkan matriks peringkat rendah yang cukup dekat dengan matriks yang diberikan. Saya perlu tahu apakah ada (misalnya) peringkat-10 atau kurang matriks yang sangat dekat dengan matriks yang diberikan (katakanlah kesalahan relatif 1,0e-10 atau lebih baik.)

— Brian Borchers

Ya, tetapi Anda juga dapat melakukan dekomposisi QR dari matriks yang diproyeksikan (dimensi rendah) dan jika dekomposisi tersebut menunjukkan kurangnya peringkat penuh, maka Anda juga akan memiliki matriks asli yang kekurangan peringkat. Bukankah itu kriteria yang Anda butuhkan untuk melakukan dekomposisi QR pada matriks asli?

— Wolfgang Bangerth

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

A

$A$

k

$k$

k

$k$

n

$n$

O (k^{2} n)

$O(k^{2}n)$

A

$A$

O (k n^{2})

$O(kn^{2})$ waktu. Apakah ada matriks jarang yang mempertahankan peringkat dengan probabilitas tinggi?

— Brian Borchers

k = n

$k=n$

k

$k$

k n^{2} ≪ n^{3}

$kn^2\ll n^3$

1

Pendekatan lain yang patut dicoba adalah dengan menggunakan Adaptive Cross Approximation (ACA). Ini adalah algoritma yang cukup populer yang memiliki banyak implementasi online yang tersedia. Untuk referensi, Anda dapat melihat kertas asli:

SA Goreinov, EE Tyrtyshnikov, NL Zamarashkin, "Sebuah teori perkiraan pseudoskeleton," Linear Algebra Appl. , vol. 261, tidak. 1–3, hlm. 1–21, Agustus 1997.

ACA dan variasinya (katakanlah, ACA +, hybrid cross approximation HCA) dapat digunakan dalam berbagai skenario. Anda, yang sudah memiliki seluruh matriks padat dihitung adalah salah satu yang menguntungkan, karena Anda akan dapat menghitung residu persis jika diperlukan.

$\mathcal O(Nr)$ $N$ $r(\epsilon)$ $r$ $\epsilon$ $\mathcal O(N^2r)$

— Anton Menshov
sumber

0

$A$ $\to 0$ $x \to A \, x$ $A$ $A^T A$

$( A^T A ) \to$ $A$

from scipy.sparse.linalg import svds
sing = svds( A, k=20, tol=1e-4, return_singular_vectors=False )  # v0=random
# runtimes on random-normal n x n:
# n = 100, 1k, 2k
#       5, 130, 770 ms

— denis
sumber