Dalam meta-analisis, bagaimana seseorang harus menangani studi tidak signifikan yang tidak mengandung data mentah?

Katakanlah saya sedang melakukan meta-analisis, melihat kinerja grup A dan grup B sehubungan dengan konstruk tertentu. Sekarang, beberapa studi yang akan saya temui akan melaporkan bahwa tidak ada perbedaan statistik yang dapat ditemukan antara kedua kelompok tetapi tidak ada statistik uji yang pasti dan / atau data mentah yang akan disajikan. Dalam meta-analisis, bagaimana saya harus menangani studi semacam itu?

Pada dasarnya, saya melihat tiga alternatif berbeda di sini:

Masukkan mereka semua dan berikan masing-masing dari mereka efek ukuran 0.
Buang mereka semua.
Lakukan semacam analisis kekuatan untuk masing-masing dari mereka atau tetapkan ambang batas pada sejumlah peserta tertentu. Masukkan semua yang seharusnya dapat mencapai signifikansi statistik dan berikan masing-masing dari mereka ukuran efek 0. Buang sisanya.

Saya dapat melihat manfaat dengan semua opsi yang berbeda. Opsi satu cukup konservatif dan Anda hanya akan mengambil risiko membuat kesalahan tipe II. Opsi dua meningkatkan risiko untuk membuat kesalahan tipe I, tetapi juga menghindari hasil Anda hancur karena banyak studi kurang kuat. Opsi tiga tampak seperti jalan tengah antara opsi satu dan opsi dua, tetapi banyak asumsi dan / atau tebakan murni harus dibuat (Ukuran efek apa yang harus Anda gunakan untuk menganalisis kekuatan Anda? Berapa jumlah peserta yang harus Anda tuntut dari masing-masing belajar agar lulus?), mungkin membuat hasil akhir kurang dapat diandalkan dan lebih subjektif.

— Speldosa
sumber

Jangan menetapkan nol, karena itu meremehkan efeknya. Salah satu pendekatan adalah menetapkan nilai ukuran efek yang dikaitkan dengan nilai-p 0,5 (nilai-p yang diharapkan jika hipotesis nol benar).

— Jeremy Miles

Apa yang akan membuat Anda melirik

P

$P$ -nilai ketika memutuskan apa yang harus dilakukan dengan studi ketika termasuk dalam meta-analisis? Pikirkan estimasi bukan pengujian hipotesis .

— Frank Harrell

@ JeremyMiles "Jangan menetapkan nol, karena itu terlalu rendah efeknya." - Apakah itu? Maksud saya, mungkin saja, tetapi karena tidak ada data yang tersedia, saya benar-benar tidak tahu apa efek sebenarnya dari studi ini.

— Speldosa

@FrankHarrell Studies melaporkan hasil yang tidak signifikan memberi Anda petunjuk tentang apa ukuran efek sebenarnya untuk studi itu. Studi yang tidak melaporkan apa pun sama sekali tidak berguna dan hanya menimbulkan kebisingan kecuali ada yang berasumsi bahwa ada bias terhadap tidak melaporkan apa pun (bahkan tidak ada uji statistik yang gagal) ketika tidak ada efek yang ada (mungkin orang harus menganggap ini sebagai masalahnya ?). Pertanyaan yang saya selidiki untuk meta-analisis saya adalah pertanyaan yang sangat sering bukan pertanyaan utama (atau bahkan bukan pertanyaan yang diajukan penulis sama sekali) dari studi yang saya lihat.

— Speldosa

@JeremyMiles saya tahu Anda memberikan perkiraan ukuran efek Anda berdasarkan p-value 0,5 'saran beberapa waktu lalu - apakah Anda tahu ada pekerjaan yang bisa saya kutip jika saya mengadopsi pendekatan ini? Saya akan sangat berterima kasih atas bantuannya!

Jawaban:

Seperti yang Anda tunjukkan, ada manfaat dengan ketiga pendekatan tersebut. Jelas tidak ada satu opsi pun yang 'terbaik'. Mengapa tidak melakukan ketiganya dan menyajikan hasilnya sebagai analisis sensitivitas?

Sebuah meta-analisis yang dilakukan dengan analisis sensitivitas yang memadai dan tepat hanya menunjukkan bahwa penulis sangat mengetahui batas-batas data yang ada, membuat eksplisit pengaruh pilihan yang kita buat ketika melakukan meta-analisis, dan mampu mengevaluasi secara kritis konsekuensinya. Bagi saya, itu adalah tanda meta-analisis yang dilakukan dengan baik.

Siapa pun yang pernah melakukan meta-analisis tahu betul bahwa ada banyak pilihan dan keputusan yang harus diambil di sepanjang jalan dan pilihan-pilihan dan keputusan-keputusan tersebut dapat memiliki pengaruh yang besar terhadap hasil yang diperoleh. Keuntungan dari meta-analisis (atau lebih umum, tinjauan sistematis) adalah bahwa metode (dan karenanya pilihan dan keputusan) dibuat eksplisit. Dan seseorang dapat mengevaluasi pengaruhnya secara sistematis. Itulah tepatnya bagaimana meta-analisis harus dilakukan.

— Wolfgang
sumber

Berikut adalah langkah-langkah yang akan saya ambil (dan yang saya ajarkan kepada siswa saya):

1) Hubungi penulis penelitian asli. Bersikap sopan dan minta perkiraan efek yang tepat untuk digunakan dalam meta-analisis Anda. Hal terburuk yang dapat terjadi adalah mereka tidak membalas atau menolak untuk memberi Anda informasi. Skenario kasus terbaik adalah Anda mendapatkan informasi persis yang Anda cari.

2) Jika Anda memiliki nilai-p yang tepat, Anda sering dapat menghitung kembali SD dengan tingkat kepastian tertentu.

3) Anda membuat semacam imputasi. Ini bisa menggunakan 'meminjam' perkiraan efek dari uji coba berukuran serupa, SD terbesar dalam meta-analisis, SD dari studi serupa dalam meta-analisis yang sama, pendapat ahli, dll. Ada banyak cara untuk menyalahkan data yang hilang, beberapa lebih benar secara ilmiah daripada yang lain, tetapi yang paling penting adalah bahwa Anda sangat jelas tentang apa yang Anda lakukan dan untuk melakukan analisis sensitivitas untuk menentukan efek dari imputasi pada estimasi efek gabungan.

3) Anda memasukkan mereka studi ke dalam meta-analisis dengan data yang hilang. Program (mis. RevMan) tidak akan memberikan studi ini bobot dalam analisis karena itu tidak akan dapat menghitung estimasi efek dan varians untuk studi itu, tetapi Anda akan dapat secara visual menunjukkan bahwa ada studi tambahan dengan data parsial itu bukan bagian dari perhitungan gabungan.

4) Anda tidak memasukkan data dari studi ini.

Menjemputmu racun ...

— abousetta
sumber