Seberapa baik regresi berganda dapat benar-benar “mengendalikan” kovariat?

Kita semua akrab dengan penelitian observasional yang berupaya membangun hubungan sebab akibat antara prediktor X yang tidak diacak dan hasil dengan memasukkan setiap perancu potensial yang dapat dibayangkan dalam model regresi berganda. Dengan demikian "mengendalikan" semua pembaur, argumen berjalan, kami mengisolasi efek dari penaksir bunga.

Saya mengembangkan rasa tidak nyaman yang tumbuh dengan ide ini, sebagian besar didasarkan pada komentar tidak langsung yang dibuat oleh berbagai profesor kelas statistik saya. Mereka jatuh ke dalam beberapa kategori utama:

1. Anda hanya dapat mengontrol kovariat yang Anda pikirkan dan ukur.
Ini jelas, tetapi saya ingin tahu apakah itu sebenarnya yang paling merusak dan tidak dapat diatasi.

2. Pendekatan ini telah menyebabkan kesalahan buruk di masa lalu.

Sebagai contoh, Petitti & Freedman (2005) membahas bagaimana penelitian observasional yang disesuaikan secara statistik selama beberapa dekade menghasilkan kesimpulan yang sangat salah tentang efek terapi penggantian hormon pada risiko penyakit jantung. Kemudian RCT menemukan efek yang hampir berlawanan.

3. Hubungan prediktor-hasil dapat berperilaku aneh ketika Anda mengontrol kovariat.

Yu-Kang Tu, Gunnell, & Gilthorpe (2008) membahas beberapa manifestasi berbeda, termasuk Lord's Paradox, Simpson's Paradox, dan variabel penekan.

4. Sulit untuk model tunggal (regresi berganda) untuk menyesuaikan secara memadai untuk kovariat dan sekaligus memodelkan hubungan prediktor-hasil.

Saya telah mendengar ini diberikan sebagai alasan untuk keunggulan metode seperti skor kecenderungan dan stratifikasi pada perancu, tapi saya tidak yakin saya benar-benar memahaminya.

5. Model ANCOVA mensyaratkan kovariat dan prediktor minat untuk menjadi independen.

Tentu saja, kami menyesuaikan perancu karena KARENA mereka berkorelasi dengan prediktor minat, jadi, tampaknya, model tersebut tidak akan berhasil dalam kasus yang tepat saat kami paling menginginkannya. Argumennya adalah bahwa penyesuaian hanya sesuai untuk pengurangan noise dalam uji acak. Miller & Chapman, 2001 memberikan ulasan yang bagus.

Jadi pertanyaan saya adalah:

1. Seberapa serius masalah ini dan yang lainnya yang mungkin tidak saya ketahui?
2. Seberapa takutkah saya ketika saya melihat sebuah studi yang "mengendalikan segalanya"?

(Saya harap pertanyaan ini tidak menjelajah terlalu jauh ke wilayah diskusi dan dengan senang hati mengundang saran untuk memperbaikinya.)

EDIT : Saya menambahkan poin 5 setelah menemukan referensi baru.

Ada jawaban yang diterima secara luas, mungkin bukan statistik, - asumsi apa yang perlu dibuat untuk mengklaim bahwa seseorang benar-benar mengendalikan kovariat.

Itu dapat dilakukan dengan grafik kausal Judea Pearl dan melakukan kalkulus .

Lihat http://ftp.cs.ucla.edu/pub/stat_ser/r402.pdf serta materi lainnya di situs webnya.

Sekarang sebagai ahli statistik kita tahu bahwa semua model itu salah, dan pertanyaan statistik yang sebenarnya adalah asumsi yang diidentifikasi kemungkinan tidak terlalu salah sehingga jawaban kita kurang lebih baik. Mutiara menyadari hal ini dan tidak membahasnya dalam karyanya tapi mungkin tidak secara eksplisit dan cukup sering untuk menghindari flustrating banyak ahli statistik dengan klaimnya untuk memiliki jawaban (yang saya percaya nya tidak untuk apa asumsi seseorang perlu untuk membuat? ).

(Saat ini ASA menawarkan hadiah untuk bahan pengajaran untuk memasukkan metode ini dalam kursus statistik lihat di sini )

Jawaban untuk pertanyaan 1:

• Besarnya keseriusan dinilai terbaik dengan cara kontekstual (yaitu, harus mempertimbangkan semua faktor yang berkontribusi terhadap validitas).
• Besarnya keseriusan seharusnya tidak dinilai dengan cara yang pasti. Contohnya adalah gagasan tentang hirarki inferensi untuk desain penelitian (mis. Laporan kasus adalah yang terendah dan RCT secara kategoris tertinggi). Jenis skema ini sering diajarkan di sekolah kedokteran sebagai heuristik yang mudah untuk dengan cepat mengidentifikasi bukti berkualitas tinggi. Masalah dengan jenis pemikiran ini adalah bahwa ia bersifat algoritmik dan terlalu deterministik dalam kenyataannya jawabannya sendiri terlalu ditentukan. Ketika ini terjadi, Anda dapat kehilangan cara RCT yang dirancang dengan buruk dapat menghasilkan hasil yang lebih buruk daripada studi observasional yang dirancang dengan baik.
• Lihat ulasan yang mudah dibaca ini untuk diskusi lengkap tentang poin-poin di atas dari sudut pandang seorang ahli epidemiologi (Rothman, 2014) .

Jawaban untuk pertanyaan 2:

• Sangat takut. Untuk sekadar mengulangi apa yang telah dikatakan orang lain dan mengutip (kira-kira) dari teks pengantar Richard McElreath yang elegan tentang pemikiran kritis dalam pemodelan statistik :

  "... semua model itu salah, tetapi beberapa berguna ..."