Perhitungan / estimasi cepat sistem linear peringkat rendah

Sistem persamaan linear sangat luas dalam statistik komputasi. Satu sistem khusus yang saya temui (misalnya, dalam analisis faktor) adalah sistem

A x = b

$Ax=b$

di mana Di sini adalah matriks diagonal dengan diagonal yang benar-benar positif, adalah (dengan ) matriks semi-pasti positif simetris positif, dan adalah matriks sembarang . Kami diminta untuk memecahkan sistem linear diagonal (mudah) yang telah terganggu oleh matriks peringkat rendah. Cara naif untuk memecahkan masalah di atas adalah membalikkan menggunakan rumus Woodbury . Namun, itu tidak terasa benar, karena faktorisasi Cholesky dan QR biasanya dapat mempercepat solusi sistem linear (dan persamaan normal) secara dramatis. Saya baru-baru ini muncul di

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ makalah berikut , yang tampaknya mengambil pendekatan Cholesky, dan menyebutkan ketidakstabilan numerik inversi Woodbury. Namun, makalah itu tampaknya dalam bentuk konsep, dan saya tidak dapat menemukan eksperimen numerik atau riset pendukung. Bagaimana keadaan seni untuk memecahkan masalah yang saya jelaskan?

— gappy
sumber

@ senang, apakah Anda mempertimbangkan untuk menggunakan dekomposisi QR (atau Cholesky) untuk matriks (istilah tengah dalam rumus Woodburry)? Operasi yang tersisa adalah perkalian matriks sederhana. Sumber utama ketidakstabilan adalah perhitungan . Sejak Saya menduga aplikasi ini dari QR atau Cholesky dikombinasikan dengan Woodbury akan lebih cepat dari QR pada semua matriks . Ini tentu saja bukan seni, hanya pengamatan umum.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

Saya menduga bahwa apa yang Matthias Seeger pendukung adalah dalam dari negara seni, dia adalah cowok yang sangat cerah dan ini macam masalah muncul berulang kali dalam jenis model ia menyelidiki. Saya menggunakan metode berbasis Cholesky untuk alasan yang sama. Saya menduga ada diskusi dalam "Matrix Computations" oleh Golub dan Van Loan, yang merupakan referensi standar untuk hal semacam ini (walaupun saya tidak memiliki salinannya).

ϵ

$\epsilon$

— Dikran Marsupial

Perhatikan bahwa dengan mengambil masalah Anda sama dengan menyelesaikan sistem mana . Jadi, itu sedikit menyederhanakan masalah di sana. Sekarang, membiarkan , kita tahu bahwa adalah semidefinite positif dengan paling eigen positif. Sejak , menemukan nilai eigen terbesar dan vektor eigen yang sesuai dapat dilakukan dengan berbagai cara. Solusinya adalah mana memberikan komposisi eigendecomposisi

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$ .

— kardinal

Koreksi kecil: (1) Sistem Setara adalah dan (2) Solusi akhir adalah . (Saya telah menjatuhkan di depan dalam kedua kasus.) Perhatikan bahwa semua invers adalah dari matriks diagonal dan juga sepele.

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$

— kardinal

@mpiktas: Saya pikir maksud Anda karena dalam versi yang Anda tulis produk matriks tidak terdefinisi dengan baik karena ketidakcocokan dimensi. :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— kardinal

"Matriks Komputasi" oleh Golub & van Loan memiliki diskusi terperinci di bab 12.5.1 tentang pembaruan QR dan faktorisasi Cholesky setelah pembaruan peringkat-p.

— Fabian Pedregosa
sumber

Saya tahu, dan fungsi lapack yang relevan disebutkan di koran yang saya tautkan dan di buku ini. Namun saya bertanya-tanya apa praktik terbaik untuk masalah yang dihadapi, bukan untuk masalah pembaruan generik.

— gappy