Kapan saya * tidak * mengizinkan efek tetap bervariasi di berbagai tingkat efek acak dalam model efek campuran?

16

Dengan variabel yang diprediksi (P), efek acak (R) dan efek tetap (F), orang dapat memuat dua * model efek campuran ( sintaks lme4 ):

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

Seperti yang saya pahami, model kedua adalah model yang memungkinkan efek tetap bervariasi di seluruh level efek acak.

Dalam penelitian saya, saya biasanya menggunakan model efek campuran untuk menganalisis data dari eksperimen yang dilakukan di beberapa peserta manusia. Saya memodelkan peserta sebagai efek acak dan manipulasi eksperimental sebagai efek tetap. Saya pikir masuk akal apriori untuk membiarkan sejauh mana efek tetap mempengaruhi kinerja dalam percobaan bervariasi di antara peserta. Namun, saya mengalami kesulitan membayangkan keadaan di mana saya harus atau tidak mengizinkan efek tetap bervariasi di berbagai tingkat efek acak, jadi pertanyaan saya adalah:

Kapan seseorang seharusnya tidak mengizinkan efek tetap bervariasi di berbagai tingkat efek acak?

mixed-model

— Mike Lawrence
sumber

Saya masih belum sepenuhnya mengerti sintaks lme4, jadi saya ingin tahu jawabannya. Tapi saya punya firasat bahwa hal itu terkait dengan perbedaan berikut: P adalah jumlah waktu yang dihabiskan siswa untuk mengerjakan pekerjaan rumah, R adalah perawatan di tingkat kelas dan F adalah siswa. (Kita juga harus memiliki efek acak untuk kelas itu sendiri.) Jika semua siswa tunduk pada semua perlakuan R pada waktu yang berbeda, tingkat F dapat dibandingkan di seluruh kelas. Jika kita mengukur seluruh sekolah sekaligus, kita memiliki siswa yang berbeda di setiap kelas, sehingga tingkat F di kelas yang berbeda tidak ada hubungannya dengan satu sama lain.

— Thomas Levine

11

Saya bukan ahli dalam pemodelan efek campuran, tetapi pertanyaannya jauh lebih mudah dijawab jika diulang dalam konteks pemodelan regresi hierarkis. Jadi pengamatan kami memiliki dua indeks dan dengan indeks mewakili kelas dan anggota kelas. Model hierarkis marilah kita menyesuaikan regresi linier, di mana koefisien bervariasi antar kelas: $P_{ij}$ $F_{ij}$ $i$ $j$

Y_{i j} = β_{0 i} + β_{1 i} F_{i j}

$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$

Ini adalah regresi tingkat pertama kami. Regresi tingkat kedua dilakukan pada koefisien regresi pertama:

\begin{aligned} β_{0 i} & = γ_{00} + u_{0 i} \\ β_{1 i} & = γ_{01} + u_{1 i} \end{aligned}

$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$

ketika kita menggantikan ini dalam regresi tingkat pertama yang kita dapatkan

\begin{aligned} Y_{i j} & = (γ_{0} + u_{0 i}) + (γ_{01} + u_{1 i}) F_{i j} \\ = γ_{0} + u_{0 i} + u_{1 i} F_{i j} + γ_{01} F_{i j} \end{aligned}

$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$

Di sini adalah efek tetap dan adalah efek acak. Perkiraan model campuran dan varian . $\gamma$ $u$ $\gamma$ $u$

Model yang saya tulis sesuai dengan lmersintaks

P ~ (1+F|R) + F

Sekarang jika kita menempatkan tanpa istilah acak yang kita dapatkan $\beta_{1i}=\gamma_{01}$

\begin{aligned} Y_{i j} = γ_{0} + u_{0 i} + γ_{01} F_{i j} \end{aligned}

$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$

yang sesuai dengan lmersintaks

P ~ (1|R) + F

Jadi pertanyaannya sekarang adalah kapan kita bisa mengecualikan istilah kesalahan dari regresi tingkat kedua? Jawaban kanonik adalah bahwa ketika kita yakin bahwa para regresi (di sini kita tidak memiliki, tetapi kita dapat memasukkan mereka, mereka secara alami adalah konstan dalam kelas-kelas) dalam regresi tingkat kedua sepenuhnya menjelaskan varian koefisien di seluruh kelas.

Jadi dalam kasus khusus ini jika koefisien tidak bervariasi, atau sebagai alternatif varian $F_{ij}$ $u_{1i}$ sangat kecil, kita harus menghibur gagasan bahwa kita mungkin lebih baik menggunakan model pertama.

Catatan . Saya hanya memberikan penjelasan aljabar, tetapi saya pikir dengan mengingatnya, lebih mudah untuk memikirkan contoh terapan tertentu.

— mpiktas
sumber

Haruskah persamaan pertama memiliki istilah kesalahan juga:

Y_{i j} = β_{0 i} + β_{1 i} F_{i j} + e_{i j}

$Y_{ij}=β_{0i}+β_{1i}F_{ij}+e_{ij}$

— Nikita Samoylov

ya, tapi saya hilangkan untuk kejelasan, saya pikir.

— mpiktas

10

Anda dapat menganggap "Efek tetap" sebagai "efek acak" dengan komponen varian nol.

Jadi, jawaban sederhana untuk mengapa Anda tidak membiarkan efek tetap bervariasi, tidak cukup bukti untuk komponen varians "cukup besar". Bukti harus berasal dari informasi sebelumnya dan data. Ini sejalan dengan prinsip dasar "pisau cukur": jangan buat model Anda lebih rumit dari yang seharusnya.

Saya cenderung memikirkan model campuran linier dengan cara berikut, menuliskan regresi berganda sebagai berikut:

Y = X β + Z kamu + e

$Y=X\beta+Zu+e$

$X\beta$ $Zu$ $e$ $u\sim N(0,D(\theta))$ $\theta$ $e\sim N(0,\sigma^{2}I)$ $(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$ , yang berarti kita memiliki:

Y \sim N (X β, Z D (θ) Z^{T} + σ^{2} saya)

$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$

Bandingkan ini dengan regresi OLS (yang memiliki $Z=0$ ) dan kami mendapatkan:

Y \sim N (X β, σ^{2} saya)

$Y\sim N(X\beta,\sigma^{2}I)$

Jadi bagian "acak" dari model dapat dilihat sebagai cara menentukan informasi sebelumnya tentang struktur korelasi komponen noise atau error dalam model. OLS pada dasarnya mengasumsikan bahwa satu kesalahan dari bagian tetap dari model dalam satu kasus tidak berguna untuk memprediksi kesalahan lain, bahkan jika kita tahu bagian tetap dari model dengan pasti. Menambahkan efek acak pada dasarnya mengatakan bahwa Anda pikir beberapa kesalahan mungkin berguna dalam memprediksi kesalahan lainnya.

— probabilityislogic
sumber

5

Ini adalah pertanyaan yang cukup lama dengan beberapa jawaban yang sangat bagus, namun saya pikir ini bisa mendapat manfaat dari jawaban baru untuk mengatasi perspektif yang lebih pragmatis.

Kapan seseorang seharusnya tidak mengizinkan efek tetap bervariasi di berbagai tingkat efek acak?

Saya tidak akan membahas masalah yang sudah dijelaskan dalam jawaban lain, sebaliknya saya akan merujuk pada yang sekarang terkenal, meskipun saya lebih suka mengatakan kertas "terkenal" oleh Barr et al (2013) sering hanya disebut sebagai "Keep it maximal"

Barr, DJ, Levy, R., Scheepers, C. dan Tily, HJ, 2013. Struktur efek acak untuk pengujian hipotesis konfirmasi: Tetap maksimal. Jurnal memori dan bahasa, 68 (3), hlm.255-278.

Dalam makalah ini penulis berpendapat bahwa semua efek tetap harus dibiarkan bervariasi di berbagai tingkat faktor pengelompokan (intersepsi acak). Argumen mereka cukup meyakinkan - pada dasarnya bahwa dengan tidak membiarkan mereka bervariasi, itu memaksakan kendala pada model. Ini dijelaskan dengan baik dalam jawaban lain. Namun, ada potensi masalah serius dengan pendekatan ini, yang dijelaskan oleh Bates el al (2015):

Bates, D., Kliegl, R., Vasishth, S. dan Baayen, H., 2015. model campuran Parsimonious. arXiv preprint arXiv: 1506.04967

Perlu dicatat di sini bahwa Bates adalah penulis utama lme4paket untuk pemasangan model campuran dalam R, yang mungkin merupakan paket yang paling banyak digunakan untuk model-model tersebut. Bates et al mencatat bahwa dalam banyak aplikasi dunia nyata, data tidak akan mendukung struktur efek acak maksimal, sering kali karena ada jumlah pengamatan yang tidak mencukupi di setiap cluster untuk variabel yang relevan. Ini dapat memanifestasikan dirinya dalam model yang gagal bertemu, atau tunggal dalam efek acak. Sejumlah besar pertanyaan di situs ini tentang model semacam itu membuktikan hal itu. Mereka juga mencatat bahwa Barr et al menggunakan simulasi yang relatif sederhana, dengan efek acak "berperilaku baik" sebagai dasar untuk makalah mereka. Sebaliknya Bates dkk menyarankan pendekatan berikut:

Kami mengusulkan (1) untuk menggunakan PCA untuk menentukan dimensi dari matriks varians-kovarians dari struktur efek-acak, (2) untuk awalnya membatasi parameter korelasi ke nol, terutama ketika upaya awal agar sesuai dengan model maksimal tidak konvergen, dan (3) untuk menjatuhkan komponen varians tidak signifikan dan parameter korelasi yang terkait dari model

Di kertas yang sama, mereka juga mencatat:

Yang penting, kegagalan untuk bertemu bukan karena cacat pada algoritma estimasi, tetapi merupakan konsekuensi langsung dari upaya untuk menyesuaikan model yang terlalu kompleks untuk didukung dengan baik oleh data.

Dan:

model maksimal tidak diperlukan untuk melindungi terhadap kesimpulan anti-konservatif. Perlindungan ini sepenuhnya disediakan oleh model komprehensif yang dipandu oleh harapan realistis tentang kompleksitas yang dapat didukung data. Dalam statistik, seperti halnya di tempat lain dalam sains, kekikiran adalah kebajikan, bukan sifat buruk.

Bates et al (2015)

Dari perspektif yang lebih terapan, pertimbangan lebih lanjut yang harus dibuat adalah apakah atau tidak, proses pembuatan data, teori biologi / fisik / kimia yang mendasari data, harus memandu analis untuk menentukan struktur efek acak.

— Robert Long
sumber

"sering karena jumlah observasi yang tidak mencukupi di setiap kluster" bisakah Anda menjelaskan hal ini? Saya pikir, jumlah minimum yang diperlukan per cluster adalah 1? Ini bahkan jawaban Anda yang diterima di sini: stats.stackexchange.com/questions/388937/...

— LuckyPal

@ LuckyPal pertanyaan yang Anda tautkan adalah tentang penyadapan acak, yang ini adalah tentang kemiringan acak. Bagaimana Anda memperkirakan kemiringan untuk ukuran sampel 1?

— Robert Long

Poin yang diambil. Terima kasih! +1 Tapi kita bisa memperkirakan kemiringan tetap dengan hanya satu pengamatan per cluster jika ada cukup cluster, kan? Ini agak aneh. Mungkin, ketika ada masalah konvergensi dengan kemiringan acak karena ukuran sampel, estimasi kemiringan - apakah itu acak atau tidak - mungkin dipertanyakan secara umum?

— LuckyPal

@ LuckyPal ya, perkiraan kemiringan tetap di semua cluster, jadi itu biasanya tidak masalah. Saya setuju bahwa memperkirakan kemiringan acak dengan kelompok kecil dapat mengakibatkan masalah konvergensi, tetapi itu tidak akan mempengaruhi estimasi kemiringan tetap.

— Robert Long