Kapan model campuran nol-korelasi secara teoritis baik?

Kutipan blok di bawah ini, dari para pemimpin di bidang pemodelan efek campuran, mengklaim bahwa mengoordinasikan pergeseran dalam model dengan korelasi nol antara efek acak (model 'ZCP') mengubah prediksi model. Tapi, bisakah seseorang menguraikan atau lebih jauh membenarkan klaim mereka?

Pernyataan yang dipertanyakan berasal dari makalah Bates et al 2015 tentang lme4, Fitting Linear Mixed-Effects Models Menggunakan lme4 , halaman 7, paragraf kedua ( tautan unduhan ). $\newcommand{\slope}{\text{slope}} \newcommand{\int}{\text{int}} \newcommand{\intercept}{\text{intercept}}$

Berikut adalah parafrase dari apa yang mereka tulis:

Meskipun model parameter nol korelasi digunakan untuk mengurangi kompleksitas model random-slope, mereka memiliki satu kelemahan. Model-model di mana kemiringan dan intersep diperbolehkan memiliki korelasi non-nol adalah invarian terhadap perubahan aditif prediktor kontinu.

Invariansi ini rusak ketika korelasi dibatasi ke nol; setiap perubahan dalam prediktor tentu akan mengarah pada perubahan dalam estimasi korelasi, dan dalam kemungkinan dan prediksi model. ¹ Sebagai contoh, kita dapat menghilangkan korelasi dalam fm1 hanya dengan menggeser Hari [prediktor yang menyertai $\slope$ ] dengan jumlah yang sama dengan rasio estimasi standar deviasi antar-subjek dikalikan dengan korelasi yang diperkirakan, yaitu ² ,

$ρ_{slope : intercept} \times \frac{σ_{slope}}{σ_{intercept}}$ $\rho_{\slope:\intercept}\times\frac{\sigma_{\slope}}{\sigma_{\intercept}}$
Penggunaan model tersebut idealnya harus dibatasi pada kasus-kasus di mana prediktor diukur pada skala rasio (yaitu, titik nol pada skala bermakna, bukan hanya lokasi yang ditentukan oleh kenyamanan atau konvensi).

Pertanyaan:

Bernomor sesuai dengan superskrip di atas ...

Saya dapat melihat bahwa setiap perubahan dalam sistem koordinat yang digunakan oleh prediktor diukur akan menyebabkan perubahan dalam korelasi yang diperkirakan, sehingga mengarah pada korelasi yang tidak nol. Ini mendukung pernyataan bahwa model parameter nol korelasi tidak invarian di bawah perubahan dalam sistem koordinat prediktor, dan oleh karena itu setiap model dengan korelasi efek acak nol dapat diubah menjadi model dengan korelasi nol dengan pergeseran koordinat yang sesuai. Saya pikir itu juga mendukung paragraf ketiga dalam parafrase di atas: model ZCP (dan nol model intersep - lihat di bawah; tapi tolong periksa saya tentang ini ) hanya berlaku untuk model yang menggunakan sistem koordinat khusus dan khusus. Tapi mengapa harus ada perubahan koordinat perubahan prediksi untuk model seperti itu?

Misalnya, pergeseran koordinat juga akan mengubah istilah intersep efek tetap untuk rata-rata grup (lihat di bawah), tetapi hanya dengan jumlah yang sesuai dengan perubahan asal untuk sistem koordinat prediktor. Perubahan seperti itu tidak memengaruhi prediksi model, selama sistem koordinat baru digunakan untuk prediktor yang bergeser.

Untuk menguraikan, jika kemiringan efek tetap yang terkait dengan prediktor bergeser adalah positif, dan asal untuk sistem koordinat prediktor digeser ke arah negatif, maka intersep efek tetap akan berkurang, dan penyadapan efek acak terkait juga akan berubah Sejalan dengan itu, mencerminkan definisi baru 'asal' (dan karena itu mencegat) dalam sistem koordinat bergeser. Omong-omong, saya pikir alasan ini juga menyiratkan bahwa model mencegat nol juga tidak invarian di bawah perubahan tersebut.

Saya pikir saya memiliki cara yang masuk akal untuk menyelesaikan masalah ini, tetapi telah memperoleh jawaban yang sedikit berbeda dari Bates dkk. Apakah saya salah di suatu tempat?

Di bawah ini adalah jawaban saya. Berikut ini adalah deskripsi bagaimana saya sampai pada hasil saya. Singkatnya, saya menemukan bahwa jika saya menggeser asal negatif dengan , sehingga dalam sistem koordinat baru prediktor mengambil nilai , maka korelasi dalam sistem koordinat baru adalah nol jika: $x$ $\delta > 0$ $x' = x + \delta$ $\rho'$

$δ = ρ_{slope : intercept} \times \frac{σ_{intercept}}{σ_{slope}}$ $\delta=\rho_{\slope:\intercept}\times\frac{\sigma_{\intercept}}{\sigma_{\slope}}$
Ini berbeda dari hasil Bates et al .

Deskripsi metode saya (Bacaan Opsional) : Katakanlah kita memiliki korelasi dua efek acak, dan ( singkatnya), keduanya terkait dengan faktor pengelompokan yang sama dengan level (dinomori oleh , mulai dari ke ). Katakan juga bahwa prediktor kontinu dengan acak disebut , didefinisikan sedemikian rupa sehingga produk menghasilkan kontribusi bersyarat ke nilai pas untuk level $\slope$ $\intercept$ $\int$ $k$ $i$ $1$ $k$ $\slope$ $x$ $x\times\slope_i$ $\hat y_{obs}$ $i$ dari faktor pengelompokan yang terkait. Meskipun pada kenyataannya algoritma MLE menentukan nilai untuk memaksimalkan kemungkinan , saya akan berharap bahwa ungkapan di bawah ini harus menjadi cara yang benar secara dimensi untuk menentukan efek dari terjemahan yang seragam dalam , pengali efek acak untuk . $\rho$ $x$ $\slope$

ρ_{slope : int} = \frac{E_{i} [({slope}_{i} - \bar{{slope}_{i}}) ({int}_{i} - \bar{{int}_{i}})]}{\sqrt{E_{i} [({slope}_{i} - \bar{{slope}_{i}})^{2}] E_{i} [({int}_{i} - \bar{{int}_{i}})^{2}]}}

$\rho_{\slope:\int} = \frac{E_{i}\big[(\slope_i -\overline {\slope_i})(\int_i -\overline {\int_i})\big]}{\sqrt{E_{i}\big[(\slope_i -\overline {\slope_i})^2\big]E_{i}\big[(\int_i-\overline {\int_i})^2\big]}}$

Untuk sampai pada hasil saya, pertama saya menulis ulang nilai lama untuk intersep dalam hal nilai baru untuk intersep, (di sini, ,' kiri ' 'bergeser ke asal untuk prediktor ). Kemudian, saya mengganti ekspresi yang dihasilkan ke dalam pembilang rumus di atas untuk , menghitung nilai yang menghasilkan nol kovarians dalam sistem koordinat baru. Perhatikan bahwa sebagaimana dinyatakan dalam Pertanyaan 1 di atas, istilah intersep efek tetap juga akan berubah secara analog: . (Di sini, $\int' = -\delta \times \slope + \int$ $\delta > 0$ $x$ $\rho$ $\delta$ $\beta_0' =- \delta\times\beta_x + \beta_0$ $\beta_x$ adalah prediktor efek tetap yang terkait dengan prediktor bergeser) $x.$

r mixed-model lme4-nlme

— clarpaul
sumber

Beberapa ide kasar. berubah jika (1) lereng tetap berubah atau (2) lereng acak berubah. Untuk (1): lereng tetap dapat dilihat sebagai rata-rata tertimbang dari lereng spesifik-kluster, di mana bobot sebagian bergantung pada komponen varians yang diestimasi. Menghilangkan kovarian mengubah var. perkiraan, mengubah bobot, mengubah kemiringan tetap. Untuk (2): kemiringan acak adalah kemiringan khusus gugusan "menyusut" menuju kemiringan yang tetap sebanding dengan bobot yang sama. Menghilangkan kovarian mengubah var. perkiraan, mengubah tingkat penyusutan, mengubah lereng acak.

\hat{y}

$\hat{y}$

— Jake Westfall

Saya sedikit kecewa ini belum mendapat perhatian lebih, @clarpaul. Anda mungkin hanya memasukkan jawaban Anda sendiri. Jika tidak ada orang lain yang menjawab, saya hanya akan memberikan hadiah kepada Anda.

— gung - Reinstate Monica

Terima kasih @ung, jawaban saya akan sangat selaras dengan "Suntingan" saya di atas. Karunia itu akan menyenangkan, tetapi saya mungkin tidak punya waktu sebelum berakhir. Saya mendorong siapa pun untuk mengambil "Suntingan" saya dan mengubahnya menjadi jawaban, jika mereka setuju dengan alasan dasar, dan bersedia meluangkan waktu untuk sedikit memolesnya.

— clarpaul

Jawaban untuk pertanyaan ini ternyata agak definisi . Jika seseorang menggeser koordinat variabel independen dari model ZCP dan membiarkan korelasi berkembang dalam cara yang tidak dibatasi , prediksi tidak akan berubah, karena model efek campuran linier dengan korelasi yang tidak dibatasi adalah terjemahan invarian (orang dapat menunjukkan ini dengan sedikit matematika) . Namun, menurut definisi , model ZCP memiliki korelasi yang dibatasi hingga . Pada pergeseran koordinat, korelasi tidak akan diizinkan untuk berkembang seperti yang disyaratkan dalam model LME yang tidak dibatasi. Oleh karena itu, model ZCP tidak invarian terjemahan, dan pergeseran koordinat akan $0$ ubah prediksi model. Dan (jika Anda mengharapkan model LME menjadi terjemahan yang tidak berubah menjadi pergeseran koordinat yang masuk akal) hanya model yang pergeseran koordinatnya tidak masuk akal secara teoritis masuk akal sebagai model ZCP (yaitu, model 'istimewa' yang disebutkan dalam paragraf ketiga dari parafrase. dari Bates et al di atas). [Catatan: Saya akan memperindah jawaban ini di masa depan untuk memasukkan rumus yang saya peroleh untuk korelasi yang berkembang ketika koordinat-pergeseran model ZCP awalnya, dan untuk bukti bahwa model LME dengan korelasi yang tidak dibatasi adalah terjemahan invarian.]
Hasil Bates et al hanyalah kesalahan ketik. Jawabannya, , harus memiliki dimensi yang sama dengan prediktor, ( Hari ), yang digeser. Karena, wlog, dan dapat dianggap memiliki dimensi kesatuan, , yang memiliki dimensi (dimensi yang sama dengan ), harus dalam penyebut agar untuk memiliki dimensi yang benar. $\delta$ $x$ $\sigma_{intercept}$ $\rho$ $\sigma_{slope}$ $1/x$ $slope$ $\delta$

— clarpaul
sumber