Apakah homogenitas sampel merupakan asumsi analisis regresi?

Saya telah mengasumsikan (yaitu saya pikir saya diajar, lebih lama dari yang saya ingat) bahwa analisis regresi mengasumsikan bahwa sampel adalah homogen. Jika tidak, maka hal yang tepat untuk dilakukan adalah menambahkan variabel dummy ke kode untuk kelompok berbeda yang termasuk dalam sampel, atau melakukan ANCOVA untuk menguji apakah parameter grup sama. Apakah mengabaikan heterogenitas sampel membatalkan analisis regresi?

regression assumptions

— TAD
sumber

Sampel biasanya diasumsikan homogen dalam arti bahwa istilah kesalahan $\epsilon_i$ dalam persamaan $y_i=\beta_0+\beta_1x_1+\beta_2x_2+\ldots+\epsilon_i$ satisify kondisi berikut:

Semua memiliki nilai nol: $\rm E(\epsilon_i)=0$ untuk semua $i$ ,
Tidak berkorelasi: $\rm Cov(\epsilon_i,\epsilon_j)=0$ untuk $i\neq j$ ,
Semua memiliki varian yang sama: $\rm Cov(\epsilon_i)=\sigma^2$ untuk semua $i$ .

Ini dikenal sebagai kondisi Gauss-Markov dan memastikan bahwa penaksir kuadrat terkecil biasa berkinerja baik (tidak memihak, penaksir tidak bias linier terbaik ...).

Perhatikan bahwa kondisi ini dapat dipenuhi bahkan jika Anda memiliki pengamatan dari kelompok yang berbeda. Seringkali, itu tidak terjadi. Jika ada perbedaan rata-rata antara kelompok, kondisi pertama dan kedua dilanggar. Jika ada korelasi dalam kelompok, kondisi kedua dilanggar. Jika grup berbeda dalam varians, yang ketiga dilanggar.

Pelanggaran kondisi Gauss-Markov dapat menyebabkan segala macam masalah. Untuk beberapa konsekuensi dari varian yang tidak konstan, lihat halaman Wikipedia tentang heteroskedastisitas .

Transformasi dapat bermanfaat ketika kondisi ketiga tidak terpenuhi, tetapi jika grup yang berbeda menyebabkan masalah dengan kondisi satu dan dua, tampaknya lebih masuk akal untuk menambahkan variabel dummy grup atau menggunakan ANCOVA.

— MånsT
sumber

+1. Jika ada perbedaan antara rata-rata kelompok dan diabaikan dalam pemasangan model, maka model akan sesuai dengan perkiraan terbaik (dalam subruang yang memaksa kelompok-kelompok untuk menjadi homogen) yang masih memiliki

E (ε) = 0

$E(\varepsilon)=0$ , Yang akan secara efektif rata-rata koefisien atas kelompok. Tentu saja, ketika mean grup berbeda, model ini cocok tidak terlalu berguna, kecuali jika Anda mencoba membuat kesimpulan tentang orang yang dipilih secara acak yang keanggotaan grupnya tidak Anda ketahui.

— Makro

Saya menghapus jawaban saya bukan karena ada yang salah tetapi karena jawaban terakhir dari MansT membahasnya lebih lengkap kecuali untuk bagian pemodelan fungsi varians seperti yang dijelaskan dalam buku Ray Carroll.

— Michael R. Chernick