Mengapa model efek campuran mengatasi ketergantungan?

Katakanlah kami tertarik pada bagaimana nilai ujian siswa dipengaruhi oleh jumlah jam belajar siswa tersebut. Untuk mengeksplorasi hubungan ini, kita dapat menjalankan regresi linier berikut:

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$

Tetapi jika kita mengambil sampel murid dari beberapa sekolah yang berbeda, kita mungkin berharap murid di sekolah yang sama lebih mirip satu sama lain daripada murid dari sekolah yang berbeda. Untuk mengatasi masalah ketergantungan ini, saran dalam banyak buku pelajaran / di web, adalah menjalankan efek campuran dan masuk sekolah sebagai efek acak. Jadi modelnya akan menjadi: Tapi mengapa ini menyelesaikan masalah ketergantungan yang ada dalam regresi linier?

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + {school}_{j} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$

Harap tanggapi seolah Anda berbicara dengan anak berusia 12 tahun

— luciano
sumber

Apakah itu "memecahkan" masalah ketergantungan adalah konteks khusus. Tetapi Anda mungkin dapat melihat bahwa sekarang model perluasan memiliki istilah yang, setidaknya sebagian, dapat menjelaskan efek yang terkait dengan sekolah tertentu.

— image_doctor

Termasuk istilah acak dalam model adalah cara untuk menginduksi beberapa struktur kovarians antara nilai. Faktor acak untuk sekolah menginduksi kovarian tidak nol antara siswa yang berbeda dari sekolah yang sama, sedangkan itu adalah ketika sekolah berbeda. $0$

Mari kita tulis model Anda sebagai mana mengindeks sekolah dan mengindeks siswa (di setiap sekolah). Istilah adalah variabel-variabel acak independen ditarik dalam . The adalah variabel independen acak ditarik dalam

Y_{s, i} = α + {hours}_{s, i} β + {school}_{s} + e_{s, i}

$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$

s

$s$

i

$i$

{school}_{s}

$\text{school}_s$

N (0, τ)

$\mathcal N(0, \tau)$

e_{s, i}

$e_{s, i}$

N (0, σ^{2})

$\mathcal N(0, \sigma^2)$

Vektor ini memiliki nilai yang diharapkan yang ditentukan oleh jumlah jam kerja.

{[α + {hours}_{s, i} β]}_{s, i}

$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$

Kovarians antara dan adalah ketika , yang berarti bahwa keberangkatan nilai dari nilai yang diharapkan adalah independen ketika siswa tidak berada di sekolah yang sama. $Y_{s,i}$ $Y_{s',i'}$ $0$ $s \ne s'$

Kovarians antara dan adalah ketika , dan varian adalah : nilai siswa dari sekolah yang sama akan memiliki korelasi keberangkatan dari nilai yang mereka harapkan . $Y_{s,i}$ $Y_{s,i'}$ $\tau$ $i \ne i'$ $Y_{s,i}$ $\tau + \sigma^2$

Contoh dan data simulasi

Berikut ini adalah simulasi R pendek untuk lima puluh siswa dari lima sekolah (di sini saya ambil ); nama-nama variabel tersebut mendokumentasikan diri: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

model campuran

$\text{school}_s$ $\alpha + \text{hours} \beta$

Matriks varians untuk contoh ini

$\text{school}_s$ $e_{s,i}$

[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}]

$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$

10 \times 10

$10\times 10$

A

$A$

A = [\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}] .

$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$

— Elvis
sumber

Elvis: itu mungkin jawaban yang bagus untuk orang-orang yang lebih ahli dalam statistik daripada saya. Namun saya bisa mengambil sedikit makna darinya. Bisakah Anda mengedit respons Anda dengan cara yang mungkin dapat dipahami oleh anak berusia 12 tahun?

— luciano

A ... 12 tahun ?! Wow! Saya akan menambahkan beberapa simulasi, jika ini bisa membantu.

— Elvis

Selesai Semoga ini membantu. Jika tidak, harap lebih spesifik tentang apa yang tidak Anda dapatkan. Perhatikan bahwa 12 tahun juga tidak akan mengerti pertanyaan ... Anda tidak dapat meminta jawaban yang lebih sederhana daripada pertanyaan.

— Elvis