Dalam prakteknya bagaimana matriks efek kovarians acak dihitung dalam model efek campuran?

19

Pada dasarnya apa yang saya pikirkan adalah bagaimana struktur kovarian yang berbeda ditegakkan, dan bagaimana nilai-nilai di dalam matriks ini dihitung. Fungsi seperti lme () memungkinkan kami untuk memilih struktur mana yang kami inginkan, tetapi saya ingin tahu bagaimana perkiraannya.

Pertimbangkan model efek campuran linier . $Y=X\beta+Zu+\epsilon$

Di mana dan . Selanjutnya: $u \stackrel{d}{\sim} N(0,D)$ $\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Untuk mempermudah, kami akan menganggap . $R=\sigma^2I_n$

Pada dasarnya pertanyaan saya adalah: Bagaimana tepatnya diperkirakan dari data untuk berbagai parameterisasi? Katakanlah jika kita menganggap adalah diagonal (efek acak independen) atau sepenuhnya parameter (jika saya lebih tertarik pada saat ini) atau salah satu dari berbagai parameterisasi lainnya? Apakah ada estimator / persamaan sederhana untuk ini? (Itu tidak diragukan lagi akan diperkirakan berulang.) $D$ $D$ $D$

EDIT: Dari buku Variance Components (Searle, Casella, McCulloch 2006) Saya telah berhasil mengkilat yang berikut:

Jika maka komponen varians diperbarui dan dihitung sebagai berikut: $D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Dimana dan adalah th update masing-masing. $\hat{\beta}^{(k)}$ $\hat{{u}}^{(k)}$ $k$

Apakah ada rumus umum ketika adalah blok diagonal atau parameter penuh? Saya menduga dalam kasus parameter sepenuhnya, dekomposisi Cholesky digunakan untuk memastikan kepastian dan simetri positif. $D$

— dcl
sumber

2

arxiv.org/pdf/1406.5823 (dalam penerbitan di Journal of Statistical Software ) mungkin berguna ...

— Ben Bolker

8

The Goldstein .pdf @probabilityislogic linked adalah dokumen yang bagus. Berikut daftar beberapa referensi yang membahas pertanyaan khusus Anda:

Harville, 1976: Perpanjangan Teorema Gauss-Markov untuk memasukkan estimasi efek acak .

Harville, 1977: Pendekatan kemungkinan maksimum untuk estimasi komponen varians dan masalah terkait .

Laird dan Ware, 1982: model efek-acak untuk data longitudinal .

McCulloch, 1997: Algoritma kemungkinan maksimum untuk model campuran linier umum .

The Panduan SAS Pengguna kutipan untuk prosedur CAMPURAN memiliki beberapa informasi yang besar tentang estimasi kovarians dan banyak sumber lebih (dimulai pada halaman 3968).

Ada banyak buku teks berkualitas tentang analisis data tindakan longitudinal / berulang, tapi di sini ada yang masuk ke beberapa detail tentang implementasi dalam R (dari penulis lme4dan nlme):

Pinheiro dan Bates, 2000: Model Efek Campuran dalam S dan S-PLUS .

EDIT : Satu makalah yang lebih relevan: Lindstrom dan Bates, 1988: Newton-Raphson dan EM Algoritma untuk model efek campuran linier untuk data tindakan berulang .

EDIT 2 : Dan satu lagi: Jennrich dan Schluchter, 1986: Model Pengukuran Berulang yang Tidak Seimbang dengan Matriks Kovarian Struktural .

Saya sudah melihat-lihat Pinheiro dan Bates, khususnya Bab 2 (tentang teori dan perhitungan) tetapi saya sepertinya tidak mengkilat apa pun tentang bagaimana struktur kovarians ditegakkan dan diperkirakan? Saya akan membahasnya lagi sebentar lagi. Saya punya beberapa kertas yang hanya duduk di sini, saya pasti harus membacanya lagi. Bersulang.

— dcl

1

@ dcl Melihat kembali Bab 2 dari P & B, saya melihat bahwa mereka mungkin mengabaikan beberapa langkah yang Anda minati (mereka menyebutkan mengoptimalkan log-kemungkinan wrt parameter kovarians tetapi tidak mengatakan bagaimana ). Yang sedang berkata, Bagian 2.2.8 mungkin merupakan bagian yang menjawab pertanyaan Anda yang terbaik.

1

@ dcl Menambahkan satu sumber lagi yang dapat membantu.

terima kasih atas tautannya. Saya pernah melihat-lihat makalah ini di masa lalu, beberapa di antaranya cukup teknis untuk saya. Saya akan mencari lagi melalui mereka sekarang, tetapi pada pandangan pertama saya tidak bisa mendapatkan apa yang saya inginkan dari mereka.

— dcl

1

@ dcl Maaf untuk dinding tautan, tetapi pertanyaan Anda adalah salah satu yang dapat digunakan seseorang untuk membahas beberapa kuliah penuh (itu adalah pertanyaan yang sangat bagus yang tersapu di balik permadani ketika pertama kali belajar tentang model efek campuran). Terlepas dari berenang melalui literatur, satu hal yang bisa Anda lakukan adalah melihat kode sumber lme4dan melihat bagaimana ia berurusan dengan estimasi ini.

7

Harvey Goldstein bukan tempat yang buruk untuk memulai.

Seperti metode estimasi paling kompleks, itu bervariasi dengan paket perangkat lunak. Namun, seringkali yang dilakukan adalah pada langkah-langkah berikut:

Pilih nilai awal untuk (katakanlah ) dan (katakanlah ). Set $D$ $D_0$ $R$ $R_0$ $i=1$
$D=D_{i-1}$ $R=R_{i-1}$ $\beta$ $u$ $\epsilon$ $\beta_i$ $u_i$ $\epsilon_i$
$\beta=\beta_i$ $u=u_i$ $\epsilon=\epsilon_i$ $D$ $R$ $D_i$ $R_i$
$i=i+1$

Satu metode sederhana, dan cepat adalah IGLS, yang didasarkan pada iterasi di antara dua prosedur kuadrat terkecil, dan dijelaskan secara rinci dalam bab dua. Kelemahannya adalah ia tidak bekerja dengan baik untuk komponen varians mendekati nol.

— probabilityislogic
sumber

Saya tahu ini adalah metode umum, tetapi bagaimana D dan R diperkirakan, persamaan apa yang digunakan untuk berbagai struktur? Apa nilai awal yang baik? Saya akan memeriksa pdf sekarang, tepuk tangan.

— dcl

1

Artikel berikut memberikan solusi formulir tertutup untuk D:

J. Shao, Mari Palta & Roger Qu, (1998), " Estimasi kuadrat terkecil dari parameter regresi dalam model efek campuran dengan kovariat tidak terukur ", Komunikasi dalam Statistik - Teori dan Metode , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

— ralucaGui
sumber

1

dua referensi lagi yang dapat menjadi Komponen Varians yang berguna oleh Searle Et al dan Lynch dan Walsh Genetika dan Analisis Ciri-Ciri Kuantitatif . Buku Lynch dan Walsh memberikan algoritma langkah demi langkah jika saya ingat benar

— ashokragavendran
sumber