Ketidaksepakatan besar dalam estimasi kemiringan ketika kelompok diperlakukan sebagai acak vs tetap dalam model campuran

Saya mengerti bahwa kami menggunakan model efek acak (atau efek campuran) ketika kami percaya bahwa beberapa parameter model bervariasi secara acak di beberapa faktor pengelompokan. Saya memiliki keinginan untuk menyesuaikan model di mana respons telah dinormalisasi dan terpusat (tidak sempurna, tapi cukup dekat) di seluruh faktor pengelompokan, tetapi variabel independen xbelum disesuaikan dengan cara apa pun. Ini membawa saya ke tes berikut (menggunakan data palsu ) untuk memastikan bahwa saya akan menemukan efek yang saya cari jika memang ada. Saya menjalankan satu model efek campuran dengan intersep acak (lintas kelompok yang ditentukan oleh f) dan model efek tetap kedua dengan faktor f sebagai prediktor efek tetap. Saya menggunakan paket R lmeruntuk model efek campuran, dan fungsi dasarlm()untuk model efek tetap. Berikut ini adalah data dan hasilnya.

Perhatikan bahwa y, terlepas dari grup, bervariasi di sekitar 0. Dan itu xbervariasi secara konsisten dengan di ydalam grup, tetapi berbeda jauh lebih banyak antar kelompok daripaday

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

Jika Anda tertarik bekerja dengan data, ini adalah dput()output:

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

Menyesuaikan model efek campuran:

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

Saya perhatikan bahwa komponen varians intersep diperkirakan 0, dan yang penting bagi saya, xbukan merupakan prediktor signifikan y.

Selanjutnya saya cocok dengan model efek tetap dengan fsebagai prediktor dan bukan faktor pengelompokan untuk intersep acak:

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

Sekarang saya perhatikan bahwa, seperti yang diharapkan, xadalah prediktor signifikan y.

Apa yang saya cari adalah intuisi mengenai perbedaan ini. Dalam hal apa pemikiran saya salah di sini? Mengapa saya salah berharap untuk menemukan parameter yang signifikan untuk xdi kedua model ini tetapi hanya benar-benar melihatnya dalam model efek tetap?

Ada beberapa hal yang terjadi di sini. Ini adalah masalah yang menarik, tetapi akan membutuhkan waktu / ruang yang cukup untuk menjelaskan semuanya.

Pertama-tama, ini semua menjadi jauh lebih mudah dipahami jika kita memplot data . Berikut adalah sebar plot di mana titik data diwarnai oleh grup. Selain itu, kami memiliki garis regresi khusus kelompok yang terpisah untuk setiap kelompok, serta garis regresi sederhana (mengabaikan kelompok) dalam huruf tebal putus-putus:

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

Model efek tetap

$x$$x$$x$$x$$x$$x$$x$$y$$t$

$x$$x$$x$lm()

Model campuran

$x$$x$$x$$x$

$x$

Berikut adalah koefisien untuk model regresi sederhana (garis tebal putus-putus dalam plot):

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

Seperti yang Anda lihat, koefisien di sini identik dengan apa yang kami peroleh dalam model campuran. Ini persis seperti yang kami harapkan, karena seperti yang telah Anda catat, kami memiliki perkiraan 0 varians untuk intersep acak, sehingga membuat rasio / korelasi intra-kelas yang disebutkan sebelumnya 0. Jadi estimasi model campuran dalam kasus ini hanyalah estimasi regresi linier sederhana, dan seperti yang dapat kita lihat dalam plot, kemiringan di sini jauh lebih jelas daripada lereng dalam-klaster.

Ini membawa kita ke satu masalah konseptual akhir ...

Mengapa varians dari intersep acak diperkirakan 0?

Jawaban untuk pertanyaan ini memiliki potensi untuk menjadi sedikit teknis dan sulit, tetapi saya akan mencoba untuk membuatnya sesederhana dan tidak teknis sebanyak yang saya bisa (untuk kita semua!). Tapi mungkin masih sedikit bertele-tele.

$y$(atau, lebih tepatnya, kesalahan model) yang disebabkan oleh struktur pengelompokan. Korelasi intra-kelas memberi tahu kita seberapa mirip rata-rata dua kesalahan yang diambil dari cluster yang sama, relatif terhadap kesamaan rata-rata dua kesalahan yang diambil dari mana saja dalam dataset (yaitu, mungkin atau mungkin tidak dalam cluster yang sama). Korelasi intra-kelas yang positif memberi tahu kita bahwa kesalahan dari kluster yang sama cenderung relatif lebih mirip satu sama lain; jika saya menggambar satu kesalahan dari sebuah kluster dan memiliki nilai yang tinggi, maka saya dapat mengharapkan di atas kemungkinan bahwa kesalahan berikutnya yang saya gambar dari kluster yang sama juga akan memiliki nilai yang tinggi. Meskipun agak kurang umum, korelasi intra-kelas juga bisa negatif; dua kesalahan yang diambil dari cluster yang sama kurang mirip (yaitu, lebih jauh dalam nilai) daripada yang biasanya diharapkan di seluruh dataset secara keseluruhan.

Model campuran yang kami pertimbangkan tidak menggunakan metode korelasi intra-kelas untuk mewakili ketergantungan pada data. Sebaliknya itu menggambarkan ketergantungan dalam hal komponen varians . Ini semua baik-baik saja selama korelasi intra-kelas positif. Dalam kasus-kasus tersebut, korelasi intra-kelas dapat dengan mudah ditulis dalam hal komponen varians, khususnya sebagai rasio varian intersep acak yang disebutkan sebelumnya terhadap total varian. (Lihat halaman wiki tentang korelasi intra-kelasuntuk info lebih lanjut tentang ini.) Tetapi sayangnya model varians-komponen mengalami kesulitan berurusan dengan situasi di mana kita memiliki korelasi intra kelas yang negatif. Setelah semua, menulis korelasi intra-kelas dalam hal komponen varians melibatkan menulisnya sebagai proporsi varians, dan proporsi tidak boleh negatif.

$y$$y$$y$, sedangkan kesalahan yang diambil dari kelompok berbeda akan cenderung memiliki perbedaan yang lebih moderat.) Jadi model campuran Anda melakukan apa, dalam praktiknya, model campuran sering dilakukan dalam kasus ini: itu memberikan perkiraan yang konsisten dengan korelasi intra kelas yang negatif. karena dapat dikerahkan, tetapi berhenti pada batas bawah 0 (kendala ini biasanya diprogram ke dalam algoritma pemasangan model). Jadi kita berakhir dengan varians mencegat acak diperkirakan dari 0, yang masih bukan perkiraan yang sangat baik, tapi itu sedekat yang bisa kita dapatkan dengan jenis model komponen-varians ini.

Jadi apa yang bisa kita lakukan?

$x$

$x$

$x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-statistik lebih besar. Ini juga tidak mengejutkan karena varians residual jauh lebih kecil dalam model campuran ini karena efek kelompok acak memakan banyak varian yang harus ditangani oleh model regresi sederhana.

Akhirnya, kami masih memiliki perkiraan 0 untuk varian intersep acak, karena alasan yang saya uraikan di bagian sebelumnya. Saya tidak benar-benar yakin apa yang bisa kita lakukan mengenai hal itu setidaknya tanpa beralih ke beberapa perangkat lunak selain lmer(), dan saya juga tidak yakin sejauh mana hal ini masih akan mempengaruhi perkiraan kami dalam model campuran akhir ini. Mungkin pengguna lain dapat berbaur dengan beberapa pemikiran tentang masalah ini.

Referensi

• Bell, A., & Jones, K. (2014). Menjelaskan efek tetap: Pemodelan efek acak dari data cross-sectional dan panel seri waktu. Penelitian dan Metode Ilmu Politik. PDF
• Bafumi, J., & Gelman, AE (2006). Menyesuaikan model multilevel ketika prediktor dan efek grup berkorelasi. PDF

Setelah banyak perenungan, saya yakin saya telah menemukan jawaban saya sendiri. Saya percaya seorang ahli ekonometrika akan mendefinisikan variabel independen saya menjadi endogen dan dengan demikian dikorelasikan dengan variabel independen dan dependen. Dalam hal ini, variabel-variabel tersebut dihilangkan atau tidak diamati . Namun, saya mengamati pengelompokan di mana variabel yang dihilangkan harus bervariasi.

Saya percaya ahli ekonometrika akan menyarankan model efek tetap . Yaitu, model yang menyertakan boneka untuk setiap tingkat pengelompokan (atau spesifikasi yang setara yang mengkondisikan model sedemikian rupa sehingga banyak pengelompokan boneka tidak diperlukan) dalam kasus ini. Dengan model efek tetap, harapannya adalah bahwa semua variabel yang tidak diamati dan time-invariant dapat dikendalikan dengan mengkondisikan seluruh variasi kelompok (atau lintas individu). Memang, model kedua dalam pertanyaan saya justru merupakan model efek tetap, dan dengan demikian memberikan perkiraan yang saya harapkan.

Saya menyambut komentar yang selanjutnya akan menerangi keadaan ini.