Bagaimana cara memastikan properti dari matriks kovarians saat memasang model normal multivariat menggunakan kemungkinan maksimum?

22

Misalkan saya memiliki model berikut

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

di mana $y_i\in \mathbb{R}^K$ , $x_i$ adalah vektor dari variabel penjelas, $\theta$ adalah parameter fungsi non-linear $f$ dan $\varepsilon_i\sim N(0,\Sigma)$ , di mana $\Sigma$ alami adalah $K\times K$ matriks.

Tujuannya adalah untuk memperkirakan $\theta$ dan $\Sigma$ . Pilihan yang jelas adalah metode kemungkinan maksimum. Log-kemungkinan untuk model ini (dengan asumsi kita memiliki sampel $(y_i,x_i),i=1,...,n$ ) terlihat seperti

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{saya = 1}^{n} (y_{saya} - f (x_{saya}, θ))^{'} Σ^{- 1} (y - f (x_{saya}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Sekarang ini tampak sederhana, kemungkinan log ditentukan, dimasukkan ke dalam data, dan menggunakan beberapa algoritma untuk optimasi non-linear. Masalahnya adalah bagaimana memastikan bahwa pasti positif. Menggunakan misalnya dalam R (atau algoritma optimasi non-linear lainnya) tidak akan menjamin saya bahwa pasti positif. $\Sigma$ optim $\Sigma$

Jadi pertanyaannya adalah bagaimana memastikan bahwa tetap positif pasti? Saya melihat dua solusi yang mungkin: $\Sigma$

Reparametrise sebagai mana adalah matriks segitiga-atas atau simetris. Maka akan selalu positif-pasti dan dapat tidak dibatasi. $\Sigma$ $RR'$ $R$ $\Sigma$ $R$
Gunakan kemungkinan profil. Turunkan rumus untuk dan . Mulailah dengan beberapa dan beralih , hingga konvergensi. $\hat\theta(\Sigma)$ $\hat{\Sigma}(\theta)$ $\theta_0$ $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$

Apakah ada cara lain dan bagaimana dengan 2 pendekatan ini, apakah akan berhasil, apakah itu standar? Ini sepertinya masalah standar, tetapi pencarian cepat tidak memberi saya petunjuk. Saya tahu bahwa perkiraan Bayesian juga mungkin, tetapi untuk saat ini saya tidak ingin terlibat di dalamnya.

maximum-likelihood optimization covariance

— mpiktas
sumber

Saya memiliki masalah yang sama dalam algoritma Kalman, tetapi masalahnya jauh lebih rumit dan tidak semudah menggunakan trik Hamilton. Lalu saya bertanya-tanya apakah hal yang lebih sederhana untuk dilakukan adalah menggunakan . Dengan cara ini saya memaksakan kode untuk tidak memberikan kesalahan dan tidak mengubah solusi. Ini juga menguntungkan memaksa istilah ini memiliki tanda yang sama dengan bagian akhir dari kemungkinan. Ada ide?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

Dengan asumsi bahwa dalam membangun matriks kovarians, Anda secara otomatis menangani masalah simetri, kemungkinan log Anda akan ketika tidak pasti positif karena istilah dalam model yang tepat? Untuk mencegah kesalahan numerik jika Saya akan menghitung ulang dan, jika tidak positif, maka buat kemungkinan log sama dengan -Jika, jika tidak lanjutkan. Anda harus menghitung faktor penentu, jadi ini tidak dikenakan biaya perhitungan tambahan. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— Makro
sumber

5

Ternyata Anda dapat menggunakan kemungkinan maksimum profil untuk memastikan properti yang diperlukan. Anda dapat membuktikan bahwa untuk diberikan , dimaksimalkan oleh $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{saya = 1}^{n} {\hat{ε}}_{saya} {\hat{ε}}_{saya}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

dimana

{\hat{ε}}_{saya} = y_{saya} - f (x_{saya}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

Maka dimungkinkan untuk menunjukkan itu

\sum_{saya = 1}^{n} (y_{saya} - f (x_{saya}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{saya}, \hat{θ}))) = c Hai n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

maka kita hanya perlu memaksimalkan

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Secara alami dalam hal ini akan memenuhi semua properti yang diperlukan. Buktinya identik untuk kasus ketika adalah linier yang dapat ditemukan dalam Time Series Analysis oleh JD Hamilton halaman 295, maka saya menghilangkannya. $\Sigma$ $f$

— mpiktas
sumber

3

Sebuah parameterisasi alternatif untuk matriks kovarians adalah dalam hal nilai eigen sudut dan "Memberikan" . $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

Artinya, kita bisa menulis

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

di mana adalah ortonormal, dan $G$

Λ = d saya Sebuah g (λ_{1}, . . ., λ_{hal})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

dengan . $\lambda_1 \geq ... \geq \lambda_p \geq 0$

Sementara itu, dapat diparameterisasi unik dalam hal sudut, , di mana dan [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(detail yang akan ditambahkan)

[1]: Hoffman, Raffenetti, Ruedenberg. "Generalisasi Euler Angles ke Matriks Orthogonal N-Dimensi". J. Math. Phys 13, 528 (1972)

— charles.y.zheng
sumber

Matriks

sebenarnya ortogonal, karena

adalah matriks simetris. Ini adalah pendekatan yang akan saya rekomendasikan - Pada dasarnya sama dengan memutar vektor

dan fungsi model

sehingga kesalahannya independen, kemudian menerapkan OLS ke masing-masing komponen yang diputar (saya pikir).

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— probabilityislogic

2

Di sepanjang garis solusi charles.y.zheng, Anda mungkin ingin memodelkan , di mana adalah matriks diagonal, dan adalah faktorisasi Cholesky dari pembaruan peringkat ke . Anda hanya perlu menjaga diagonal positif untuk menjaga pasti positif. Artinya, Anda harus memperkirakan diagonal dan elemen alih-alih memperkirakan . $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
sumber

Dapatkah elemen diagonal di bawah dalam pengaturan ini menjadi apa pun yang saya inginkan selama diagonal positif? Ketika mensimulasikan matriks dengan cara ini di numpy tidak semuanya pasti positif.

— sztal

Λ

$\Lambda$