Apa contoh variabel pengintai dalam percobaan terkontrol yang ada di publikasi?

Dalam makalah ini:

Mengintai Variabel: Beberapa Contoh Brian L. Joiner The American Statistician Vol. 35, No. 4, November, 1981 227-233

Brian Joiner mengklaim bahwa "pengacakan bukanlah obat mujarab". Ini bertentangan dengan pernyataan umum seperti yang di bawah ini:

Eksperimen yang dirancang dengan baik mencakup fitur desain yang memungkinkan para peneliti untuk menghilangkan variabel asing sebagai penjelasan untuk hubungan yang diamati antara variabel independen dan variabel dependen. Variabel asing ini disebut variabel mengintai.

Kutipan diambil dari pertanyaan ini dan tidak memiliki sumber tetapi dalam pengalaman saya itu mewakili sikap yang berlaku: Contoh Variabel Mengintai dan Pengamatan Berpengaruh

Salah satu contoh yang diberikan adalah bahwa ketika menguji keamanan (khususnya karsinogenesis) pewarna makanan merah # 40 pada tikus di tahun tujuh puluhan pengaruh posisi kandang ditemukan untuk mengacaukan penelitian. Sekarang saya telah membaca banyak artikel jurnal yang mempelajari karsinogenesis pada hewan pengerat dan belum pernah melihat orang lain yang mengendalikan efek ini.

Diskusi lebih lanjut dari studi ini dapat ditemukan di sini: Studi kasus statistik dalam proses pengaturan: percobaan FD&C Red No. 40.

Saya tidak dapat menemukan versi yang tidak berbayar tetapi di sini adalah kutipannya:

Pada pertemuan Januari, kami mempresentasikan analisis awal (14) yang mengungkapkan korelasi yang kuat antara baris kandang dan RE (reticulo-endothelial tumor) tingkat kematian, yang bervariasi dari 17% (baris bawah) hingga 32% (baris atas) (tabel 2). Kami tidak dapat menjelaskan hubungan kuat ini berdasarkan jenis kelamin, kelompok dosis, atau kolom rak atau posisi. Analisis selanjutnya (18) juga menunjukkan bahwa posisi kandang (depan vs belakang) mungkin berkorelasi dengan kematian non-RE dan posisi itu berkorelasi dengan waktu hingga kematian non-RE.

Saya secara khusus tertarik pada mengapa tampaknya ada masalah dengan replikasi dalam literatur medis, tetapi contoh dari semua bidang akan diterima. Perhatikan bahwa saya tertarik pada contoh-contoh dari eksperimen terkontrol acak, bukan studi observasional.

Beberapa contoh dari penelitian klinis mungkin adalah variabel yang muncul setelah pengacakan - pengacakan tidak melindungi Anda dari mereka sama sekali. Beberapa dari kepala saya, yang telah diangkat sebagai kemungkinan atau telah dicatat:

• Perubahan perilaku pasca sunat laki-laki dewasa sukarela untuk pencegahan HIV
• Kehilangan diferensial untuk tindak lanjut antara pengobatan dan kelompok kontrol dari RCT
• Contoh yang lebih spesifik mungkin termasuk studi "Manfaat dari Universal Gowning dan Gloving" baru-baru ini yang mengamati pencegahan infeksi yang didapat di rumah sakit ( komentar blog di sini , makalahnya ada di balik paywall). Selain intervensi, dan berpotensi karena itu, baik tingkat kebersihan tangan dan tingkat kontak antara pasien dan staf / pengunjung berubah.

Pengacakan melindungi terhadap tidak ada efek-efek itu, karena mereka timbul pasca-pengacakan.

Berikut adalah satu contoh yang saya temukan untuk data microarray. Ekspresi yang diukur telah dilaporkan sangat berkorelasi dengan posisi pada "chip". Ini adalah kasus di mana pengacakan posisi sampel dapat menyebabkan peningkatan peluang membuat kesalahan label sehingga mereka yang melakukan pekerjaan teknis dapat memilih untuk tidak mengacak jika mereka tidak menganggapnya penting.

Penugasan acak dari unit eksperimental untuk perawatan mengontrol kemungkinan bahwa faktor apa pun selain pengobatan adalah penyebab dari asosiasi (1,2) ⁠. Dalam beberapa platform microarray seperti Illumina® dan NimbleGenTM, beberapa sampel biologis dapat digabungkan menjadi satu chip. Chip dan efek posisi sampel dapat memengaruhi keakuratan dan reproduktifitas percobaan microarray kecuali keseimbangan dan pengacakan dipertimbangkan dalam desain eksperimental (4). Tujuan kami adalah untuk membandingkan dampak dari efek-efek ini dalam percobaan yang dikacaukan dan acak.

Pentingnya Pengacakan dalam Desain Eksperimental Microarray dengan Platform Illumina

Ricardo A. Verdugo, Christian F. Deschepper, dan Gary A. Churchill. Laboratorium Jackson, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Kanada.

Saya memiliki contoh yang mungkin agak berbeda dari apa yang Anda maksudkan ketika Anda mengajukan pertanyaan ini. Satu atau dua tahun terakhir telah memunculkan diskusi yang sedang berlangsung dalam psikologi tentang penyebab kurangnya replikasi efek dari percobaan acak. Versi-versi dari debat ini telah muncul selama bertahun-tahun, tetapi debat telah menjadi lebih keras sejak publikasi makalah yang menunjukkan bahwa banyak praktik yang merupakan standar dalam psikologi dalam perumusan hipotesis, pengumpulan data, analisis data, dan pelaporan hasil memungkinkan para peneliti untuk menemukan hasil yang mendukung hipotesis yang bahkan dipilih secara sewenang-wenang (dalam makalah asli, para peneliti menggunakan praktik-praktik ini untuk menunjukkan bahwa mendengarkan "When I'm Sixty-Four" oleh The Beatles membuat orang lebih muda).

Akar masalahnya, tentu saja, adalah struktur insentif yang meluas dalam psikologi (dan dalam ilmu lain) untuk mendapatkan hasil yang baru, positif, "dapat diterbitkan". Insentif-insentif ini mendorong para ilmuwan penelitian untuk mengadopsi praktik-praktik yang, walaupun tidak secara jelas "salah" sebagai pemalsuan data, tetap mengarah pada peningkatan tingkat hasil positif palsu. Praktik-praktik ini meliputi:

1. Kumpulan beberapa variabel dependen yang sangat mirip. Hanya variabel dependen yang menghasilkan hasil yang paling konsisten dengan hipotesis asli yang dilaporkan.
2. Selama pengumpulan data, pengujian untuk hasil yang signifikan beberapa kali dan menghentikan pengumpulan data ketika signifikansi diperoleh.
3. Selama analisis, dimasukkannya banyak kovariat dalam model statistik. Dalam makalah akhir, hanya kombinasi kovariat yang mengarah ke hasil paling konsisten dengan hipotesis asli yang dilaporkan.
4. Menjatuhkan kondisi yang mengarah pada hasil yang tidak konsisten dengan hyptoheses asli dan gagal melaporkan kondisi ini di koran.

Dan seterusnya.

Saya berpendapat bahwa "variabel yang mengintai" dalam kasus-kasus ini adalah struktur insentif yang memberikan penghargaan kepada peneliti untuk mendapatkan hasil positif, "dapat dipublikasikan". Bahkan, sudah ada beberapa profil tinggi hasil dalam psikologi (banyak yang di spesialisasi saya, psikologi sosial) yang telah gagal untuk mereplikasi. Kegagalan untuk mereplikasi ini, banyak yang berpendapat, menimbulkan keraguan pada seluruh subbidang psikologi.

Tentu saja, masalah struktur insentif yang mendorong positif palsu tidak unik untuk psikologi; ini adalah masalah yang endemik bagi semua sains, dan dengan demikian untuk semua uji coba terkontrol secara acak.

Referensi

Simmons, JP, Nelson, LD, & Simonsohn, U. (2011). Psikologi positif palsu: Fleksibilitas yang tidak diungkapkan dalam pengumpulan dan analisis data memungkinkan penyajian yang penting. Ilmu Psikologis , 17, 1359-1366.

Nosek, BA, Spies, JR, & Motyl, M. (2012). Utopia ilmiah: II. Restrukturisasi insentif dan praktik untuk mempromosikan kebenaran daripada publikasi. Perspektif tentang Ilmu Psikologis , 7, 615-631.

Yong, E. (2012). Salinan buruk. Alam , 485, 298-300.

Abbott, A. (2013). Hasil yang disengketakan merupakan pukulan baru bagi psikologi sosial. Alam , 497, 16.