Menguji kesetaraan koefisien dari dua regresi yang berbeda

Ini tampaknya menjadi masalah mendasar, tetapi saya baru sadar bahwa saya sebenarnya tidak tahu bagaimana cara menguji kesetaraan koefisien dari dua regresi yang berbeda. Adakah yang bisa menjelaskan ini?

Secara lebih formal, misalkan saya menjalankan dua regresi berikut: dan mana merujuk ke matriks desain regresi , dan ke vektor koefisien dalam regresi . Perhatikan bahwa dan berpotensi sangat berbeda, dengan dimensi yang berbeda, dll. Saya tertarik misalnya apakah .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Jika ini berasal dari regresi yang sama, ini akan sepele. Tetapi karena mereka berasal dari yang berbeda, saya tidak yakin bagaimana melakukannya. Adakah yang punya ide atau bisa memberi saya beberapa petunjuk?

Masalah saya secara terperinci: Intuisi pertama saya adalah melihat interval kepercayaan, dan jika tumpang tindih, maka saya akan mengatakan mereka pada dasarnya sama. Prosedur ini tidak datang dengan ukuran tes yang benar, meskipun (yaitu setiap interval kepercayaan individu memiliki , katakanlah, tetapi melihat mereka bersama-sama tidak akan memiliki probabilitas yang sama). Intuisi "kedua" saya adalah melakukan uji-t normal. Yaitu, ambil $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

di mana diambil sebagai nilai hipotesis nol saya. Namun, ini tidak memperhitungkan ketidakpastian estimasi , dan jawabannya mungkin tergantung pada urutan regresi (yang saya sebut 1 dan 2). $\beta_{21}$ $\beta_{21}$

Gagasan ketiga saya adalah melakukannya seperti dalam uji standar untuk persamaan dua koefisien dari regresi yang sama, yaitu take

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

Komplikasi muncul karena keduanya berasal dari regresi yang berbeda. Catat itu

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ tetapi sejak mereka berasal dari regresi yang berbeda, bagaimana saya mendapatkan ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Ini mendorong saya untuk mengajukan pertanyaan ini di sini. Ini harus menjadi prosedur standar / tes standar, tetapi saya tidak dapat menemukan apa pun yang cukup mirip dengan masalah ini. Jadi, jika ada yang bisa mengarahkan saya ke prosedur yang benar, saya akan sangat berterima kasih!

hypothesis-testing inference

— coffeinjunky
sumber

Ini tampaknya berkaitan dengan pemodelan persamaan struktural / simultan. Salah satu cara untuk memecahkan masalah ini adalah menyesuaikan kedua persamaan secara bersamaan, misalnya dengan kemungkinan maksimum, dan kemudian menggunakan uji rasio kemungkinan dari model yang dibatasi (model parameter yang sama) terhadap model yang tidak dibatasi. Secara praktis ini dapat dilakukan dengan perangkat lunak SEM (Mplus, lavaan dll.)

— tomka

Apakah Anda tahu tentang Seemingly Unrelated Regression (SUR)?

— Dimitriy V. Masterov

Saya pikir pertanyaan kenaikan gaji Anda, yaitu bagaimana mendapatkan cov dari kedua koefisien, diselesaikan oleh SEM, yang akan memberi Anda matriks var-cov dari semua koefisien. Maka Anda mungkin bisa menggunakan tes Wald dengan cara yang Anda sarankan daripada tes LRT. Selain itu Anda juga dapat menggunakan re-sampling / bootstrap, yang mungkin lebih langsung.

— tomka

Ya, Anda benar tentang itu, @ Tomka. Dalam model SUR (yang secara longgar Anda dapat mempertimbangkan kasus khusus model SEM), saya bisa mendapatkan tes yang sesuai. Terima kasih telah mengarahkan saya ke arah itu! Saya pikir saya tidak memikirkannya karena sepertinya sedikit seperti menembak burung gereja dengan meriam, tetapi saya memang tidak bisa memikirkan cara yang lebih baik. Jika Anda menuliskan jawaban, saya akan menandainya sebagai benar. Kalau tidak, saya akan segera menuliskannya sendiri, dengan penjelasan teoretis yang cepat dan berpotensi dengan contoh.

— coffeinjunky

SUR cukup mudah diimplementasikan. Inilah satu contoh dengan Stata . Dengan R, Anda menginginkan pakaian sistem .

— Dimitriy V. Masterov

Jawaban:

Meskipun ini bukan analisis umum, itu benar-benar menarik. Jawaban yang diterima cocok dengan cara Anda mengajukan pertanyaan, tetapi saya akan memberikan teknik lain yang cukup diterima yang mungkin setara atau tidak (saya akan menyerahkan pikiran yang lebih baik untuk mengomentari itu).

Pendekatan ini menggunakan tes Z berikut:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Di mana adalah kesalahan standar . $SE\beta$ $\beta$

Persamaan ini disediakan oleh Clogg, CC, Petkova, E., & Haritou, A. (1995). Metode statistik untuk membandingkan koefisien regresi antara model. American Journal of Sociology , 100 (5), 1261-1293. dan dikutip oleh Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998). Menggunakan uji statistik yang benar untuk persamaan koefisien regresi. Kriminologi , 36 (4), 859-866. persamaan 4, yang tersedia gratis dari paywall. Saya telah mengadaptasi formula Peternoster untuk menggunakan daripada $\beta$ $b$ karena ada kemungkinan bahwa Anda mungkin tertarik pada DV yang berbeda karena alasan yang mengerikan dan ingatan saya tentang Clogg dkk. adalah bahwa rumus mereka menggunakan . Saya juga ingat memeriksa silang rumus ini terhadap Cohen, Cohen, Barat, dan Aiken, dan akar pemikiran yang sama dapat ditemukan di sana dalam interval kepercayaan perbedaan antara koefisien, persamaan 2.8.6, hal 46-47. $\beta$

— russellpierce
sumber

Lihat juga: stats.stackexchange.com/questions/55501/…

— russellpierce

Jawaban yang luar biasa! Pertanyaan tindak lanjut: apakah ini juga berlaku untuk kombinasi linear dari Model 1 dan dari Model 2? Seperti,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbs Gambling

Juga saya perhatikan makalah ini membahas kasus di mana satu model bersarang di dalam yang lain, dan DV dari dua model adalah sama. Bagaimana jika kedua kondisi ini tidak terpenuhi? Sebagai gantinya, saya memiliki matriks desain kedua model yang sama, tetapi mereka memiliki DV yang berbeda. Apakah formula ini masih berlaku? Terima kasih banyak!

— Perjudian Sibbs

@SibbsGambling: Anda mungkin ingin mengajukan pertanyaan untuk menarik lebih banyak perhatian.

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Untuk orang-orang dengan pertanyaan serupa, izinkan saya memberikan garis besar jawaban yang sederhana.

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Ini akan mengarah ke matriks varians-kovarians yang memungkinkan untuk menguji kesetaraan dari kedua koefisien.

— coffeinjunky
sumber

Saya menerapkan cara yang Anda sarankan dan membandingkannya dengan cara di atas. Saya menemukan perbedaan utama adalah apakah asumsi bahwa varians kesalahannya sama atau tidak. Cara Anda mengasumsikan bahwa varians kesalahannya sama dan cara di atas tidak menganggapnya.

— KH Kim

Ini bekerja dengan baik untuk saya. Di Stata, saya melakukan sesuatu seperti: expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); Menggunakan akun standar kesalahan berkerumun untuk fakta bahwa e1 dan e2 tidak independen untuk pengamatan yang sama setelah menumpuk dataset.

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E., & Haritou, A. (1995). Metode statistik untuk membandingkan koefisien regresi antara model. American Journal of Sociology, 100 (5), 1261-1293.) Menyajikan jawaban dalam kasus khusus persamaan bersarang (mis. untuk mendapatkan persamaan kedua, pertimbangkan persamaan pertama dan tambahkan beberapa variabel penjelas) Mereka mengatakan itu mudah untuk diterapkan.
Jika saya memahaminya, dalam kasus khusus ini, tes Haussman juga dapat diimplementasikan. Perbedaan utama adalah bahwa tes mereka menganggap benar persamaan kedua (penuh), sedangkan tes Haussman menganggap benar persamaan pertama.
Perhatikan bahwa Clogg et al (1995) tidak cocok untuk data panel. Tetapi tes mereka telah digeneralisasi oleh (Yan, J., Aseltine Jr, RH, & Harel, O. (2013). Membandingkan koefisien regresi antara model linear bersarang untuk data cluster dengan data estimasi umum. Jurnal Statistik Pendidikan dan Perilaku, 38 (2), 172-189.) Dengan paket yang disediakan di R: geepack Lihat: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

Dan (untuk paket-R): https://cran.r-project.org/web/packages/geepack/index.html

— Alexandre Cazenave-Lacroutz
sumber