Apakah kita benar-benar perlu memasukkan "semua prediksi yang relevan?"

15

Asumsi dasar menggunakan model regresi untuk inferensi adalah bahwa "semua prediktor yang relevan" telah dimasukkan dalam persamaan prediksi. Alasannya adalah bahwa kegagalan untuk memasukkan faktor dunia nyata yang penting mengarah pada koefisien bias dan dengan demikian kesimpulan yang tidak akurat (yaitu, bias variabel dihilangkan).

Tetapi dalam praktik penelitian, saya belum pernah melihat orang termasuk sesuatu yang menyerupai "semua prediktor yang relevan." Banyak fenomena memiliki banyak penyebab penting, dan akan sangat sulit, jika bukan tidak mungkin, untuk memasukkan semuanya. Contoh off-the-cuff adalah memodelkan depresi sebagai hasil: Tidak ada yang membangun apa pun dekat dengan model yang mencakup "semua variabel yang relevan": misalnya, sejarah orang tua, sifat kepribadian, dukungan sosial, pendapatan, interaksi mereka, dll., dll ...

Selain itu, menyesuaikan model yang rumit seperti itu akan menyebabkan perkiraan yang sangat tidak stabil kecuali jika ada ukuran sampel yang sangat besar.

Pertanyaan saya sangat sederhana: Apakah asumsi / saran untuk "memasukkan semua prediktor yang relevan" hanya sesuatu yang kita "katakan" tetapi tidak pernah benar-benar berarti? Jika tidak, lalu mengapa kita memberikannya sebagai saran pemodelan yang sebenarnya?

Dan apakah ini berarti bahwa sebagian besar koefisien mungkin menyesatkan? (misalnya, studi tentang faktor kepribadian dan depresi yang hanya menggunakan beberapa prediktor). Dengan kata lain, seberapa besar masalah ini untuk kesimpulan ilmu kita?

— ATJ
sumber

6

Versi argumen ini mengamuk di bidang psikologi, ekonomi, dan ilmu sosial sepanjang abad ke-19. Para ilmuwan berpendapat bahwa metode statistik tidak dapat diterapkan pada manusia dan sistem sosial karena manusia terlalu beragam dan kompleks. Pada akhir abad itu, utilitas menang atas filsafat: bahkan ketika kita tidak memasukkan semua prediktor, kita masih dapat belajar banyak. Ada kebijaksanaan dalam pencantuman "relevan" dalam frasa judul.

— whuber

18

Anda benar - kami jarang realistis dalam mengatakan "semua prediktor yang relevan". Dalam prakteknya kita bisa puas dengan termasuk prediktor yang menjelaskan sumber utama dari variasi dalam . Dalam kasus khusus dalam menarik kesimpulan tentang faktor risiko atau pengobatan dalam penelitian observasional, ini jarang cukup baik. Untuk itu, penyesuaian untuk perancu perlu sangat agresif, termasuk variabel yang mungkin terkait dengan hasil dan mungkin terkait dengan pilihan pengobatan atau dengan faktor risiko yang Anda coba publikasikan. $Y$

Tertarik bahwa dengan model linier normal, kovariat yang dihilangkan, terutama jika ortogonal untuk memasukkan kovariat, dapat dianggap sebagai hanya memperbesar istilah kesalahan. Dalam model nonlinier (logistik, Cox, banyak lainnya) penghilangan variabel dapat membiaskan efek dari semua variabel yang termasuk dalam model (misalnya, karena ketidakberpisahan rasio odds, misalnya).

— Frank Harrell
sumber

Terima kasih atas informasi yang bermanfaat. Mengesampingkan menilai efek pengobatan, saya ingin bertanya lebih lanjut tentang implikasi pragmatis masalah ini. Jika Anda mengulas sebuah makalah dan jelas ada prediktor penting yang dihilangkan, dapatkah itu menjadi dasar penolakan? Saya menanyakan hal ini karena a.) Saya belum pernah mendengar tentang hal ini dan b.) Para ilmuwan sosial sering memasukkan HANYA peramal yang mereka ingin tahu lebih banyak tentang (yaitu, topik penelitian) dan mengabaikan faktor "sudah diketahui" ( berdasarkan pada kebutuhan untuk pengukuran yang lebih efisien).

— ATJ

Misalnya, tidak jarang melihat model variabel laten dengan hanya prediktor TUNGGAL untuk variabel endogen. Apakah ini menunjukkan kesenjangan antara bidang statistik dan penerapannya dalam bidang topik aktual?

— ATJ

6

Mungkin memang begitu. Untuk alasan pertanyaan sebelumnya untuk penolakan akan mencakup penghilangan variabel penting yang inklusi akan memberikan interpretasi yang berbeda dari variabel yang dimasukkan, atau yang akan secara drastis mengubah model. Saya pernah meninjau sebuah makalah tentang risiko kanker paru-paru yang hanya tersedia apakah subjek pernah merokok atau tidak, dan penulis tidak berusaha menilai dosis merokok (misalnya, tahun-tahun). Saya merekomendasikan penolakan langsung.

— Frank Harrell

9

Ya, Anda harus memasukkan semua "variabel yang relevan", tetapi Anda harus pintar tentang hal itu. Anda harus memikirkan cara-cara untuk membangun eksperimen yang akan mengisolasi dampak fenomena Anda dari hal-hal yang tidak terkait, yang merupakan banyak penelitian di dunia nyata (sebagai lawan ruang kelas). Sebelum Anda masuk ke statistik, Anda harus melakukan angkat berat di domain Anda, bukan dalam statistik.

Saya mendorong Anda untuk tidak bersikap sinis tentang memasukkan semua variabel yang relevan, karena itu bukan hanya tujuan yang mulia tetapi juga karena itu sering mungkin. Kami tidak mengatakan ini hanya untuk mengatakannya. Kami benar-benar bersungguh-sungguh. Faktanya, merancang eksperimen dan studi yang mampu memasukkan semua variabel yang relevan adalah yang membuat sains benar-benar menarik, dan berbeda dari "eksperimen" pelat ketel mekanis.

Untuk memotivasi pernyataan saya, saya akan memberi Anda sebuah contoh tentang bagaimana Galileo mempelajari akselerasi. Berikut uraiannya tentang percobaan yang sebenarnya (dari halaman web ini ):

Sepotong cetakan kayu atau scantling, panjangnya sekitar 12 hasta, lebar setengah hasta, dan tebal tiga jari, diambil; di ujungnya ada saluran sedikit lebih lebar dari satu jari; Setelah membuat alur ini sangat lurus, halus, dan dipoles, dan setelah dilapisi dengan perkamen, juga sehalus dan dipoles mungkin, kami menggulungnya dengan bola perunggu yang keras, halus, dan sangat bundar. Setelah meletakkan papan ini dalam posisi miring, dengan menaikkan satu ujungnya satu atau dua hasta di atas yang lain, kami menggulirkan bola, seperti yang baru saja saya katakan, di sepanjang saluran, mencatat, dengan cara yang saat ini akan dijelaskan, waktu yang diperlukan untuk membuat keturunan. Kami mengulangi percobaan ini lebih dari satu kali untuk mengukur waktu dengan akurasi sehingga penyimpangan antara dua pengamatan tidak pernah melebihi sepersepuluh denyut nadi. Setelah melakukan operasi ini dan memastikan keandalannya, kami sekarang memutar bola hanya seperempat panjang saluran; dan setelah mengukur waktu penurunannya, kami menemukannya tepat setengah dari yang pertama. Selanjutnya kami mencoba jarak lain, membandingkan waktu untuk seluruh panjang dengan itu untuk setengah, atau dengan itu untuk dua pertiga, atau tiga perempat, atau memang untuk sebagian kecil; dalam percobaan seperti itu, diulangi seratus kali penuh, kami selalu menemukan bahwa ruang-ruang yang dilalui adalah satu sama lain sebagai kuadrat zaman, dan ini berlaku untuk semua kemiringan pesawat, yaitu saluran, di mana kami menggulung bola. Kami juga mengamati bahwa saat-saat turun, untuk berbagai kemiringan pesawat, saling melahirkan satu sama lain dengan rasio yang, seperti yang akan kita lihat nanti,

Untuk pengukuran waktu, kami menggunakan bejana besar air yang ditempatkan pada posisi tinggi; ke bagian bawah kapal ini disolder pipa berdiameter kecil yang memberikan semburan air tipis yang kami kumpulkan dalam gelas kecil selama waktu masing-masing keturunan, baik untuk seluruh panjang saluran atau untuk sebagian panjangnya; air yang dikumpulkan kemudian ditimbang, setelah setiap keturunan, dengan keseimbangan yang sangat akurat; perbedaan dan rasio bobot ini memberi kami perbedaan dan rasio waktu, dan ini dengan akurasi yang begitu meskipun operasi diulang berkali-kali, tidak ada perbedaan yang berarti dalam hasil.

d = g t^{2},

$d=gt^2,$

d

$d$

g

$g$

t

$t$

d_{0} = 1

$d_0=1$

t_{0}

$t_0$

d_{i}

$d_i$

t_{i}

$t_i$

d_{0} / d_{i}

$d_0/d_i$

t_{0}^{2} / t_{i}^{2}

$t_0^2/t_i^2$

\frac{d_{0}}{d_{i}} = \frac{t_{0}^{2}}{t_{i}^{2}}

$\frac{d_0}{d_i}=\frac{t_0^2}{t_i^2}$

Perhatikan bagaimana dia mengukur waktu. Ini sangat kasar sehingga mengingatkan saya bagaimana hari ini ilmu tidak alami mengukur variabel mereka, pikirkan "kepuasan pelanggan" atau "utilitas". Dia menyebutkan bahwa kesalahan pengukuran berada dalam sepersepuluh dari satuan waktu, btw.

Apakah dia memasukkan semua variabel yang relevan? Iya, dia melakukannya. Sekarang, Anda harus memahami bahwa semua benda saling tertarik oleh gravitasi. Jadi, secara teori untuk menghitung gaya yang tepat pada bola Anda harus menambahkan setiap benda di alam semesta ke persamaan. Selain itu, jauh lebih penting dia tidak termasuk ketahanan permukaan, hambatan udara, momentum sudut dll. Apakah ini semua berdampak pada pengukurannya? Iya. Namun, mereka tidak relevan dengan apa yang dia pelajari karena dia dapat mengurangi atau menghilangkan dampaknya dengan mengisolasi dampak dari properti yang dia pelajari.

$t^2$

— Aksakal
sumber

Apa yang begitu kasar tentang metode pengukuran waktunya? Pengaturan akan memiliki tingkat tertentu di mana air akan meninggalkan kapal besar dan memasuki cangkir; dengan asumsi kapal berisi sejumlah besar air, laju itu akan berubah minimal. Lebih penting lagi, ini akan tetap konsisten di seluruh eksperimen. Ini sebenarnya metode yang sangat elegan mengingat mereka tidak memiliki stopwatch dan timer otomatis yang bagus saat itu.

— JAB

@ JAB, ini hanya perbandingan untuk berhenti menonton atau cara modern untuk mengukur waktu, tentu saja. Anda memang benar bahwa itu sangat elegan mengingat keadaan pengukuran waktu di zaman Galileo. Namun, poin yang saya sampaikan adalah bahwa bahkan presisi yang tampaknya sangat rendah (1/10 interval) masih cukup untuk mengamati hubungan antara waktu dan jarak

— Aksakal

@ JAB, salah satu contoh favorit saya tentang metode pengukuran konyol dalam fisika adalah bagaimana Cherenkov menemukan radiasinya . Dia akan duduk di ruangan yang gelap sampai matanya disesuaikan dengan kegelapan, kemudian dia membuka atau menutup lubang dengan cahaya yang datang sampai cahaya menghilang. Dia akan merekam berapa banyak lubang terbuka untuk mendeteksi tingkat radiasi. Rupanya, mata manusia dapat mendeteksi perbedaan cahaya yang diukur dalam segenggam foton! Kertasnya 3 halaman.

— Aksakal

6

Agar asumsi model regresi tetap berlaku, semua prediktor yang relevan harus dimasukkan. Tetapi tidak ada asumsi dalam analisis statistik yang sempurna dan banyak praktik statistik didasarkan pada "Cukup Dekat".

Dengan Desain percobaan dan pengacakan yang tepat, efek dari istilah yang tidak termasuk dalam model seringkali dapat diabaikan (diasumsikan sama dengan kemungkinan pengacakan). Tetapi, regresi biasanya digunakan ketika pengacakan penuh tidak memungkinkan untuk memperhitungkan semua variabel yang mungkin tidak termasuk dalam model, sehingga pertanyaan Anda menjadi penting.

Cukup banyak setiap model regresi yang cocok mungkin kehilangan beberapa prediktor potensial, tetapi "Saya tidak tahu" tanpa klarifikasi lebih lanjut tidak akan memungkinkan statistik yang bekerja tetap bekerja, jadi kami mencoba yang terbaik dan kemudian mencoba mencari tahu seberapa besar perbedaannya antara asumsi dan kenyataan akan mempengaruhi hasil kami. Dalam beberapa kasus perbedaan dari asumsi membuat perbedaan sangat kecil dan kami tidak terlalu khawatir tentang perbedaan, tetapi dalam kasus lain itu bisa sangat serius.

Salah satu opsi ketika Anda tahu bahwa mungkin ada prediktor yang tidak termasuk dalam model yang akan relevan adalah melakukan analisis sensitivitas. Ini mengukur seberapa besar bias yang mungkin terjadi berdasarkan hubungan potensial dengan variabel yang tidak terukur. Kertas ini:

Lin, DY dan Psaty, BM dan Kronmal, RA. (1998): Menilai Sensitivitas Hasil Regresi terhadap Perancu Tak Terukur dalam Studi Observasional. Biometrics, 54 (3), Sep, hlm. 948-963.

memberikan beberapa alat (dan contoh) dari analisis sensitivitas.

— Greg Snow
sumber