Apa perbedaan mendasar antara kedua model regresi ini?

Misalkan saya memiliki tanggapan bivariat dengan korelasi signifikan. Saya mencoba membandingkan dua cara untuk memodelkan hasil ini. Salah satu caranya adalah dengan memodelkan perbedaan antara dua hasil: Cara lain adalah dengan menggunakan atau untuk memodelkannya:

(y_{i 2} - y_{i 1} = β_{0} + X^{'} β)

$(y_{i2}-y_{i1}=\beta_0+X'\beta)$ glsgee

(y_{i j} = β_{0} + time + X^{'} β)

$(y_{ij}=\beta_0+\text{time}+X'\beta)$

Berikut ini adalah contoh foo:

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

Apa perbedaan mendasar antara fit1dan fit2? Dan di antara fit2dan fit3, mengingat mereka begitu dekat dengan nilai dan estimasi ? $p$

r regression model-selection

— David Z
sumber

Perbedaan antara fit1 dan fit3 kadang-kadang disebut sebagai paradoks Tuhan. Lihat di sini untuk beberapa diskusi (tentang mengapa estimasi tidak berubah di antara model) dan referensi ke artikel Paul Allison, stats.stackexchange.com/a/15759/1036 . Referensi lain adalah

Holland, Paul & Donald Rubin. 1983. On Lord’s Paradox. In Principles of modern psychological measurement: A festchrift for Frederic M. Lord edited by Wainer, Howard & Samuel Messick pgs:3-25. Lawrence Erlbaum Associates. Hillsdale, NJ.

— Andy W

Pertama, saya akan memperkenalkan model keempat untuk diskusi dalam jawaban saya:

fit1.5 <- lm (y_2 ~ x_1 + x_2 + y_1)

Bagian 0
Perbedaan antara fit1 dan fit1.5 diringkas sebagai perbedaan antara perbedaan dibatasi vs perbedaan optimal.

Saya akan menggunakan contoh yang lebih sederhana untuk menjelaskan ini daripada yang disediakan di atas. Mari kita mulai dengan fit1.5. Versi model yang lebih adalah Tentu saja, ketika kita mendapatkan estimasi OLS, itu akan menemukan pilihan "optimal" untuk . Dan, meskipun rasanya aneh menulis seperti itu, kita dapat menulis ulang rumus sebagai Kita dapat menganggap ini sebagai perbedaan "optimal" antara kedua variabel .

y_{2} = b_{0} + b_{1} \cdot x + b_{2} \cdot y_{1}

$y_2 = b_0 + b_1·x + b_2·y_1$

b_{2}

$b_2$

y_{2} - b_{2} \cdot y_{1} = b_{0} + b_{1} \cdot x

$y_2 - b_2·y_1 = b_0 + b_1·x$

y

$y$

Sekarang, jika kita memutuskan untuk membatasi , maka rumus / model menjadi yang merupakan perbedaan (terbatas). $b_2=1$

y_{2} - y_{1} = b_{0} + b_{1} \cdot x

$y_2 - y_1 = b_0 + b_1·x$

Catatan, dalam demonstrasi di atas, jika Anda membiarkan menjadi variabel dikotomis, dan menjadi pre-test dan skor tes pasangan pos, maka model perbedaan dibatasi hanya akan menjadi sampel independen -test untuk keuntungan dalam skor , sedangkan model perbedaan optimal adalah tes ANCOVA dengan skor pre-test digunakan sebagai kovariat. $x$ $y_1$ $y_2$ $t$

Bagian 1
Model untuk fit2 dapat dipikirkan dengan cara yang mirip dengan pendekatan perbedaan yang digunakan di atas. Meskipun ini merupakan penyederhanaan yang berlebihan (seperti saya sengaja meninggalkan keluar istilah error), model bisa disajikan sebagai di mana untuk nilai-nilai dan untuk nilai-nilai . Inilah penyederhanaan yang berlebihan ... mari kita tulis ini Ditulis dengan cara lain, . Sedangkan model fit1.5 memiliki sebagai nilai untuk membuat perbedaan optimal untuk analisis OLS, di sini

y = b_{0} + b_{1} \cdot x + b_{2} \cdot t

$y = b_0 + b_1 · x + b_2 · t$

t = 0

$t=0$

y_{1}

$y_1$

t = 1

$t=1$

y_{2}

$y_2$

\begin{aligned} y_{1} & = b_{0} + b_{1} \cdot x \\ y_{2} & = b_{0} + b_{1} \cdot x + b_{2} \end{aligned}

$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$

y_{2} - y_{1} = b_{2}

$y_2 - y_1 = b_2$

b_{2}

$b_2$

b_{2}

$b_2$ pada dasarnya hanya perbedaan rata-rata antara nilai-nilai (setelah mengendalikan kovariat lainnya).

y

$y$

Bagian 2
Jadi apa perbedaan antara model fit2 dan fit3 ... sebenarnya, sangat sedikit. Model fit3 memang memperhitungkan korelasi dalam hal kesalahan, tetapi ini hanya mengubah proses estimasi, dan dengan demikian perbedaan antara dua output model akan minimal (di luar fakta bahwa fit3 memperkirakan faktor autoregresif).

Bagian 2.5
Dan saya akan memasukkan satu lagi model dalam diskusi ini

fit4 <- lmer (y ~ waktu + x1 + x2 + (1 | id), data = df.long)

Model efek-campuran ini melakukan versi yang sedikit berbeda dari pendekatan autoregresif. Jika kita memasukkan koefisien waktu dalam efek acak, ini akan sebanding dengan menghitung perbedaan antara untuk setiap subjek. (Tapi, ini tidak akan berhasil ... dan modelnya tidak akan berjalan.) $y$

— Gregg H
sumber