Jelaskan bagaimana `eigen` membantu membalik matriks

Pertanyaan saya berkaitan dengan teknik perhitungan yang dieksploitasi di geoR:::.negloglik.GRFatau geoR:::solve.geoR.

Dalam pengaturan model campuran linier: mana dan masing-masing adalah efek tetap dan acak. Juga,

Y = X β + Z b + e

$Y=X\beta+Zb+e$

β

$\beta$

b

$b$

Σ = cov (Y)

$\Sigma=\text{cov}(Y)$

Ketika memperkirakan efek, ada kebutuhan untuk menghitung yang biasanya dapat dilakukan menggunakan sesuatu seperti , tetapi kadang-kadang hampir tidak dapat dibalik, jadi gunakan triknya

(X^{'} Σ^{- 1} X)^{- 1} X^{'} Σ^{- 1} Y

$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$ solve(XtS_invX,XtS_invY)

(X^{'} Σ^{- 1} X)

$(X'\Sigma^{-1}X)$ geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

(dapat dilihat pada geoR:::.negloglik.GRFdan geoR:::.solve.geoR) yang merupakan jumlah pembusukan mana dan karenanya

(X^{'} Σ^{- 1} X) = Λ D Λ^{- 1}

$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\$

Λ^{'} = Λ^{- 1}

$\Lambda'=\Lambda^{-1}$

(X^{'} Σ^{- 1} X)^{- 1} = (D^{- 1 / 2} Λ^{- 1})^{'} (D^{- 1 / 2} Λ^{- 1})

$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$

Dua pertanyaan:

Bagaimana dekomposisi eigen ini membantu pembalikan ? $(X'\Sigma^{-1}X)$
Apakah ada alternatif lain yang layak (yang kuat dan stabil)? (misalnya qr.solveatau chol2inv?)

— qoheleth
sumber

1) Komposisi eigend tidak terlalu membantu. Ini tentu saja lebih stabil secara numerik daripada faktorisasi Cholesky, yang membantu jika matriks Anda tidak dikondisikan / hampir tunggal / memiliki angka kondisi tinggi. Sehingga Anda dapat menggunakan eigendecomposition dan itu akan memberi Anda A solusi untuk masalah Anda. Tetapi ada sedikit jaminan bahwa itu akan menjadi solusi yang TEPAT . Jujur, setelah Anda membalikkan secara eksplisit , kerusakan sudah terjadi. Membentuk hanya memperburuk keadaan. Komposisi eigend akan membantu Anda memenangkan pertempuran, tetapi perang pasti hilang. $\Sigma$ $X^T \Sigma^{-1} X$

2) Tanpa mengetahui secara spesifik masalah Anda, inilah yang akan saya lakukan. Pertama, melakukan faktorisasi Cholesky pada sehingga . Kemudian melakukan QR faktorisasi pada sehingga . Pastikan untuk menghitung menggunakan penggantian maju - JANGAN membalikkan secara eksplisit . Jadi Anda mendapatkan: $\Sigma$ $\Sigma = L L^T$ $L^{-1} X$ $L^{-1} X = QR$ $L^{-1} X$ $L$ Dari sini, Anda dapat menyelesaikan sisi kanan yang Anda inginkan. Tapi sekali lagi, jangan eksplisit invert(atau). Gunakan penggantian maju dan mundur jika diperlukan.

\begin{matrix} X^{T} Σ^{- 1} X & = & X^{T} (L L^{T})^{- 1} X \\ = & X^{T} L^{- T} L^{- 1} X \\ = & (L^{- 1} X)^{T} (L^{- 1} X) \\ = & (Q R)^{T} Q R \\ = & R^{T} Q^{T} Q T \\ = & R^{T} R \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$

R

$R$

R^{T} R

$R^T R$

$X^T \Sigma Y$ $X^T \Sigma^{-1} Y$

\begin{matrix} X^{T} Σ^{- 1} Y & = & X^{T} (L L^{T})^{- 1} Y \\ = & X^{T} L^{- T} L^{- 1} Y \\ = & (L^{- 1} X)^{T} L^{- 1} Y \\ = & (Q R)^{T} L^{- 1} Y \\ = & R^{T} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$

β

$\beta$

\begin{matrix} X^{T} Σ^{- 1} X β & = & X^{T} Σ^{- 1} Y \\ R^{T} R β & = & R^{T} Q^{T} L^{- 1} Y \\ R β & = & Q^{T} L^{- 1} Y \\ β & = & R^{- 1} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$

R

$R$

— Bill Woessner
sumber

Terima kasih. ini adalah respons yang bermanfaat. Untuk lebih jelasnya, apakah alternatif Anda akan membantu memenangkan perang? atau hanya memenangkan permainan lebih baik daripada yang dilakukan eigen?

— qoheleth

X

$X$

Σ

$\Sigma$

X^{T} Σ^{- 1} X

$X^T \Sigma^{-1} X$