Seberapa bermasalah untuk mengontrol kovariat non-independen dalam penelitian observasional (yaitu, non-acak)?

Miller dan Chapman (2001) berpendapat bahwa sangat tidak tepat untuk mengontrol kovariat non-independen yang terkait dengan variabel independen dan dependen dalam studi observasional (non-acak) - meskipun ini secara rutin dilakukan dalam ilmu sosial. Seberapa bermasalah untuk melakukannya? Bagaimana cara terbaik untuk mengatasi masalah ini? Jika Anda secara rutin mengontrol kovariat non-independen dalam penelitian observasional dalam penelitian Anda sendiri, bagaimana Anda membenarkannya? Akhirnya, apakah ini pertarungan yang layak dipilih ketika memperdebatkan metodologi dengan kolega yang satu (yaitu, apakah itu benar-benar penting)?

Terima kasih

Miller, GA, & Chapman, JP (2001). Analisis kesalahpahaman tentang kovarian. Jurnal Abnormal Psychology, 110, 40-48. - http://mres.gmu.edu/pmwiki/uploads/Main/ancova.pdf

Ini sama bermasalahnya dengan tingkat korelasinya.

Ironisnya adalah Anda tidak akan repot mengendalikan jika tidak ada korelasi yang diharapkan dengan salah satu variabel. Dan, jika Anda mengharapkan variabel independen Anda memengaruhi dependen Anda, maka itu tentu agak berkorelasi dengan keduanya. Namun, jika itu sangat berkorelasi dengan mereka, mungkin Anda tidak boleh mengendalikannya karena sama saja dengan mengendalikan variabel independen atau dependen yang sebenarnya.

Dalam ilmu sosial, kami sering menyebut masalah ini "bias pasca perawatan." Jika Anda mempertimbangkan efek dari beberapa pengobatan (variabel independen Anda), termasuk variabel yang muncul setelah perawatan (dalam arti kausal), maka perkiraan Anda tentang efek pengobatan dapat menjadi bias. Jika Anda memasukkan variabel-variabel ini, maka Anda, dalam beberapa hal, mengendalikan dampak pengobatan. Jika pengobatan T menyebabkan hasil Y dan variabel A lainnya dan A menyebabkan Y, maka mengendalikan A mengabaikan dampak yang T miliki pada Y melalui A. Bias ini bisa positif atau negatif.

Dalam ilmu sosial, ini bisa menjadi sangat sulit karena A dapat menyebabkan T, yang memberi umpan balik pada A, dan A dan T keduanya menyebabkan Y. Misalnya, PDB yang tinggi dapat menyebabkan tingkat demokratisasi yang tinggi (perlakuan kami), yang mengarah ke PDB yang lebih tinggi, dan PDB yang lebih tinggi dan demokratisasi yang lebih tinggi keduanya menyebabkan korupsi pemerintah berkurang, katakanlah. Karena PDB menyebabkan demokratisasi, jika kita tidak mengendalikannya, maka kita memiliki masalah endogenitas atau "bias variabel yang dihilangkan." Tetapi jika kita mengontrol GDP, kita memiliki bias pasca perawatan. Selain menggunakan uji coba secara acak ketika kami bisa, ada sedikit hal lain yang bisa kami lakukan untuk mengarahkan kapal kami antara Scylla dan Charybdis. Gary King berbicara tentang isu-isu ini sebagai nominasi untuk inisiatif Harvard "Masalah Tersulit dalam Ilmu Sosial" di sini .

Seperti yang saya lihat, ada dua masalah mendasar dengan studi observasional yang "mengendalikan" sejumlah variabel independen. 1) Anda memiliki masalah variabel penjelas yang hilang dan dengan demikian memodelkan kesalahan spesifikasi. 2) Anda memiliki masalah beberapa variabel independen berkorelasi - masalah yang tidak ada dalam eksperimen yang dirancang dengan baik - dan fakta bahwa koefisien regresi dan tes kovariat ANCOVA didasarkan pada parsial, membuatnya sulit untuk diinterpretasikan. Yang pertama adalah intrinsik dengan sifat penelitian observasional dan dibahas dalam konteks ilmiah dan proses elaborasi kompetitif. Yang terakhir adalah masalah pendidikan dan bergantung pada pemahaman yang jelas tentang model regresi dan ANCOVA dan apa yang diwakili oleh koefisien tersebut.

Sehubungan dengan masalah pertama, cukup mudah untuk menunjukkan bahwa jika semua pengaruh pada beberapa variabel dependen diketahui dan dimasukkan dalam suatu model, metode statistik kontrol efektif dan menghasilkan prediksi dan estimasi efek yang baik untuk variabel individual. Masalah dalam "ilmu-ilmu lunak" adalah bahwa semua pengaruh yang relevan jarang dimasukkan atau bahkan diketahui dan dengan demikian modelnya tidak ditentukan secara spesifik dan sulit untuk ditafsirkan. Namun, banyak masalah yang bermanfaat ada di domain ini. Jawabannya hanya kurang pasti. Keindahan dari proses ilmiah adalah bahwa itu adalah koreksi diri dan model dipertanyakan, diuraikan, dan disempurnakan. Alternatifnya adalah menyarankan agar kami tidak dapat menyelidiki masalah ini secara ilmiah ketika kami tidak dapat merancang eksperimen.

Masalah kedua adalah masalah teknis dalam sifat ANCOVA dan model regresi. Analis perlu jelas tentang apa koefisien dan tes ini mewakili. Korelasi antara variabel independen mempengaruhi koefisien regresi dan tes ANCOVA. Mereka adalah tes parsial. Model-model ini mengambil varians dalam variabel independen yang diberikan dan variabel dependen yang terkait dengan semua variabel lain dalam model dan kemudian menguji hubungan dalam residu tersebut. Akibatnya, koefisien dan tes individu sangat sulit untuk ditafsirkan di luar konteks pemahaman konseptual yang jelas dari seluruh rangkaian variabel yang dimasukkan dan keterkaitannya. Ini, bagaimanapun, menghasilkan TIDAK masalah untuk prediksi - hanya berhati-hati tentang menafsirkan tes dan koefisien tertentu.

Catatan tambahan: Masalah yang terakhir terkait dengan masalah yang dibahas sebelumnya di forum ini tentang pembalikan tanda-tanda regresi - misalnya, dari negatif ke positif - ketika prediktor lain dimasukkan ke dalam model. Di hadapan prediktor berkorelasi dan tanpa pemahaman yang jelas tentang hubungan berganda dan kompleks di antara seluruh set prediktor, tidak ada alasan untuk MENGHARAPKAN koefisien regresi (secara alami parsial) untuk memiliki tanda tertentu. Ketika ada teori yang kuat dan pemahaman yang jelas tentang hubungan timbal balik tersebut, tanda "pembalikan" semacam itu bisa mencerahkan dan bermanfaat secara teoritis. Meskipun, mengingat kompleksitas banyak masalah ilmu sosial pemahaman yang cukup tidak akan umum, saya harapkan.

Penafian: Saya seorang sosiolog dan analis kebijakan publik melalui pelatihan.

Saya membaca halaman pertama makalah mereka dan saya mungkin salah mengerti maksud mereka, tetapi bagi saya tampaknya mereka pada dasarnya membahas masalah memasukkan variabel independen multi-collinear dalam analisis. Contoh yang mereka ambil dari usia dan tingkatan menggambarkan gagasan ini ketika mereka menyatakan bahwa:

Usia sangat erat terkait dengan nilai di sekolah sehingga penghapusan varians dalam kemampuan basket yang terkait dengan usia akan menghilangkan varians yang cukup (mungkin hampir semua) dalam kemampuan basket terkait dengan grade

ANCOVA adalah regresi linier dengan level yang direpresentasikan sebagai variabel dummy dan kovariat juga muncul sebagai variabel independen dalam persamaan regresi. Jadi, kecuali saya salah paham maksud mereka (yang sangat mungkin karena saya belum membaca makalah mereka sepenuhnya) tampaknya mereka mengatakan 'jangan masukkan kovariat dependen' yang setara dengan menyatakan hindari variabel multi-collinear.

Masalah (terbesar) adalah karena variabel grup dan kovariat bersama-sama pada sisi prediktor persamaan, variabel grup tidak lagi variabel grup, mereka adalah variabel-variabel dengan kovariat yang dipisah, jadi tidak lagi dapat dikenali atau ditafsirkan sebagai variabel grup yang Anda pikir sedang Anda pelajari. Masalah besar

Baris kuncinya ada di halaman 45 "ANCOVA menghapus varians yang bermakna dari" Group ", meninggalkan variabel Grup residual vestigal yang tidak ditandai dengan hubungan yang tidak pasti dengan konstruk yang diwakili Grup".

Solusi saya saat ini adalah dengan memisahkan kovariat dari DV, dan kemudian menyerahkan sisa DV ke ANOVA biasa, sebagai alternatif untuk menggunakan ANCOVA.

Beberapa alat pencocokan yang dikembangkan oleh Gary King dan rekannya terlihat menjanjikan:

• Perangkat lunak
• Video menyediakan tutorial di R