Bagaimana mendeteksi studi mana yang lebih baik ketika mereka memberi Anda hasil yang bertentangan?

Anda begitu sering menemukan di pers berbagai penelitian yang menyimpulkan hasil yang berlawanan arah. Itu bisa terkait dengan pengujian obat resep baru atau manfaat nutrisi tertentu atau apa pun dalam hal ini.

Ketika dua penelitian semacam itu sampai pada hasil yang saling bertentangan, bagaimana Anda bisa tahu yang mana di antara keduanya yang paling dekat dengan kebenaran?

Saya pikir jawaban Jeromy cukup jika Anda memeriksa dua studi eksperimental atau meta-analisis yang sebenarnya. Tetapi sering kali kita dihadapkan dengan memeriksa dua studi non-eksperimental, dan ditugaskan untuk menilai validitas dari dua temuan yang berbeda.

Seperti yang disarankan oleh daftar belanjaan Cyrus , topik itu sendiri tidak dapat menerima tanggapan singkat, dan seluruh buku pada intinya ditujukan untuk menjawab pertanyaan semacam itu. Bagi siapa pun yang tertarik melakukan penelitian pada data non-eksperimental, saya sangat menyarankan Anda membaca

Desain eksperimental dan semu-eksperimental untuk inferensial kausal yang digeneralisasi oleh William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (Juga saya telah mendengar bahwa versi yang lebih lama dari teks ini sama baiknya).

Beberapa item Jeromy disebut (ukuran sampel lebih besar, dan kekakuan metodologis yang lebih besar), dan segala sesuatu yang disebutkan Cyrus akan dianggap apa yang disebut Campbell dan Cook sebagai "Validitas Internal". Ini termasuk aspek desain penelitian dan metode statistik yang digunakan untuk menilai hubungan antara X dan Y. Khususnya sebagai kritik kami prihatin dengan aspek baik yang dapat membiaskan hasil, dan mengurangi keandalan temuan. Karena ini adalah forum yang ditujukan untuk analisis statistik, banyak jawaban dipusatkan di sekitar metode statistik untuk memastikan perkiraan yang tidak bias dari hubungan apa pun yang Anda nilai. Tetapi mereka adalah aspek-aspek lain dari desain penelitian yang tidak terkait dengan analisis statistik yang mengurangi validitas temuan, tidak peduli berapa panjang yang harus dilakukan dalam analisis statistik mereka (seperti penyebutan Cyrus tentang beberapa aspek kesetiaan eksperimen dapat diatasi tetapi tidak diselesaikan dengan metode statistik, dan jika itu terjadi akan selalu mengurangi validitas hasil studi). Ada banyak aspek lain dari validitas internal yang menjadi penting untuk dinilai dalam membandingkan hasil studi non-eksperimental yang tidak disebutkan di sini, dan aspek desain penelitian yang dapat membedakan keandalan temuan. Saya tidak berpikir itu cukup tepat untuk masuk ke detail terlalu banyak di sini,

Campbell dan Cook juga merujuk pada "validitas eksternal" studi. Aspek desain penelitian ini seringkali jauh lebih kecil ruang lingkupnya, dan tidak layak mendapatkan perhatian sebanyak validitas internal. Validitas eksternal pada dasarnya berkaitan dengan generalisasi temuan, dan saya akan mengatakan orang awam sering dapat menilai validitas eksternal dengan cukup baik selama mereka akrab dengan subjek. Singkat cerita, bacalah buku Shadish, Cook's, dan Campbell.

The meta analisis sastra adalah relevan dengan pertanyaan Anda. Dengan menggunakan teknik meta-analitik, Anda dapat menghasilkan perkiraan pengaruh minat yang dikumpulkan dalam berbagai studi. Teknik-teknik semacam itu sering mempelajari berat badan dalam hal ukuran sampel mereka.

Dalam konteks analisis meta, para peneliti berbicara tentang model efek tetap dan efek acak (lihat Hunter dan Schmidt, 2002 ). Model efek tetap mengasumsikan bahwa semua studi memperkirakan efek populasi yang sama. Model efek-acak mengasumsikan bahwa studi berbeda dalam efek populasi yang diperkirakan. Model efek-acak biasanya lebih sesuai.

Karena semakin banyak penelitian terakumulasi melihat hubungan tertentu, pendekatan yang lebih canggih menjadi mungkin. Misalnya, Anda dapat mengkode studi dalam berbagai properti, seperti kualitas yang dirasakan, dan kemudian memeriksa secara empiris apakah ukuran efek bervariasi dengan karakteristik studi ini. Di luar kualitas mungkin ada beberapa perbedaan yang relevan secara teoritis antara studi yang akan memoderasi hubungan (misalnya, karakteristik sampel, tingkat dosis, dll.).

Secara umum, saya cenderung mempercayai studi dengan:

• ukuran sampel lebih besar
• kekakuan metodologis yang lebih besar
• orientasi konfirmasi (misalnya, bukan penelitian di mana mereka menguji korelasi antara 100 nutrisi yang berbeda dan 50 hasil kesehatan)
• tidak adanya konflik kepentingan (misalnya, bukan oleh perusahaan dengan kepentingan komersial dalam menunjukkan hubungan; bukan oleh peneliti yang memiliki insentif untuk menemukan hasil yang signifikan)

Tapi itu mengatakan Anda perlu menyimpan sampel acak dan perbedaan yang bermakna secara teoritis antara studi sebagai penjelasan yang masuk akal dari temuan studi yang bertentangan.

Saya akan menunda mempertimbangkan meta-analisis sampai Anda meneliti sumber-sumber jika potensi bias atau variasi dalam populasi target. Jika ini adalah studi tentang efek pengobatan, apakah pengobatan ditugaskan secara acak? Apakah ada penyimpangan dari protokol? Apakah ada ketidakpatuhan? Apakah ada data hasil yang hilang? Apakah sampel diambil dari bingkai yang sama? Apakah ada penolakan untuk berpartisipasi? Kesalahan implementasi? Apakah kesalahan standar dihitung dengan benar, akuntansi untuk pengelompokan dan kuat untuk berbagai asumsi parametrik? Hanya setelah Anda menjawab pertanyaan-pertanyaan ini saya pikir masalah meta-analisis mulai masuk ke dalam gambar. Pasti jarang bahwa untuk dua studi manapun, meta-analisis adalah tepat, kecuali jika Anda bersedia membuat asumsi heroik.