Mengapa tidak melakukan meta-analisis pada data yang disimulasikan sebagian?

Latar Belakang:

Sebuah meta-analisis khas dalam psikologi mungkin berusaha untuk memodelkan korelasi antara dua variabel X dan Y. Analisis ini biasanya melibatkan memperoleh serangkaian korelasi yang relevan dari literatur bersama dengan ukuran sampel. Rumus kemudian dapat diterapkan untuk menghitung korelasi rata-rata tertimbang. Kemudian, analisis dapat dilakukan untuk melihat apakah korelasi bervariasi di seluruh studi oleh lebih dari yang akan disiratkan oleh efek belaka sampling.

Selanjutnya, analisis dapat dibuat jauh lebih kompleks. Taksiran dapat disesuaikan untuk keandalan, batasan jangkauan, dan banyak lagi. Korelasi dapat digunakan dalam kombinasi untuk mengeksplorasi pemodelan persamaan struktural meta atau regresi meta, dan sebagainya.

Namun, semua analisis ini dilakukan dengan menggunakan statistik ringkasan (misalnya, korelasi, rasio odds, perbedaan rata-rata terstandarisasi) sebagai data input. Ini membutuhkan penggunaan formula dan prosedur khusus yang menerima statistik ringkasan.

Pendekatan alternatif untuk meta-analisis

Jadi, saya berpikir tentang pendekatan alternatif untuk meta-analisis, di mana data mentah digunakan sebagai input. Yaitu, untuk korelasi data input akan menjadi data mentah yang digunakan untuk membentuk korelasi. Jelas, dalam sebagian besar meta-analisis beberapa jika tidak sebagian besar data mentah aktual tidak tersedia. Dengan demikian, prosedur dasar mungkin terlihat seperti ini:

1. Hubungi semua penulis yang diterbitkan untuk mencari data mentah, dan jika disediakan, gunakan data mentah aktual .
2. Untuk penulis yang tidak menyediakan data mentah, simulasikan data mentah sehingga memiliki statistik ringkasan yang identik dengan yang dilaporkan. Simulasi semacam itu juga dapat menggabungkan pengetahuan apa pun yang diperoleh dari data mentah (mis., Jika suatu variabel diketahui condong, dll.).

Menurut saya pendekatan semacam itu mungkin memiliki beberapa manfaat:

• Alat statistik yang menggunakan data mentah sebagai input dapat digunakan untuk analisis
• Dengan setidaknya mendapatkan beberapa data mentah aktual, penulis meta-analisis akan dipaksa untuk mempertimbangkan isu-isu yang terkait dengan data aktual (misalnya, pencilan, distribusi, dll.).

Pertanyaan

• Apakah ada masalah dengan melakukan studi meta-analisis pada kombinasi data mentah yang benar dan data yang disimulasikan untuk memiliki statistik ringkasan yang identik dengan studi yang telah diterbitkan?
• Apakah pendekatan seperti itu lebih unggul daripada metode yang ada untuk melakukan meta-analisis pada statistik ringkasan?
• Apakah ada literatur yang ada membahas, mengadvokasi, atau mengkritik pendekatan ini?

Sudah ada pendekatan yang bertujuan untuk mensintesis data individu dan orang agregat. Sutton et al. (2008) kertas menerapkan pendekatan Bayesian yang (IMHO) memiliki beberapa kesamaan dengan ide Anda.

• Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L., & Boutitie, F. (2007). Meta-analisis hasil yang berkelanjutan menggabungkan data pasien individu dan data agregat. Statistik dalam Kedokteran, 27 (11), 1870–1893. doi: 10.1002 / sim.3165 PDF

• Riley, RD, & Steyerberg, EW (2010). Meta-analisis hasil biner menggunakan data peserta individu dan data agregat. Metode Sintesis Penelitian, 1 (1), 2-19. doi: 10.1002 / jrsm.4

• Sutton, AJ, Kendrick, D., & Coupland, CAC (2008). Meta-analisis data tingkat individu dan agregat. Statistik dalam Kedokteran, 27 (5), 651-669.

Saya berterima kasih kepada @Bernd karena menunjuk saya ke arah yang benar. Berikut adalah beberapa catatan tentang referensi yang disebutkan dalam jawabannya, serta beberapa referensi yang disebutkan dalam artikel ini.

Sutton et al (2008)

Sutton et al menggunakan dalam konteks kesehatan istilah data pasien individu versus data agregat .

Mereka mencatat bahwa analisis data pasien individu sering dianggap sebagai standar emas untuk meta-analisis, mengutip Stewart dan Clark (1995). Ini sangat berguna untuk menilai kualitas data dan melakukan analisis pada nilai-nilai yang tidak dilaporkan dalam laporan yang ada (misalnya, analisis subkelompok tertentu). Secara alami, mereka mencatat masalah, seperti ketidakmungkinan dalam beberapa kasus mendapatkan semua data pasien individu dan biaya tambahan dalam memproses data tersebut. Mereka juga mengamati bahwa untuk model sederhana di mana statistik ringkasan tersedia, hasilnya akan sering sama atau sama.

Mereka juga mengamati jarangnya meta-analisis pasien individu mengutip review oleh Simmonds et al (2005). Mereka juga menyebutkan artikel tinjauan meta-analisis yang menggabungkan data pasien individu dengan data agregat oleh Riley RD, Simmonds, et al (2008)

Riley Lambert Abo-Zaid (2010)

Dalam artikel ini Riley et al menjelaskan lebih lanjut tentang meta-analisis data peserta individu. Mereka menguraikan keuntungan dari meta-analisis data masing-masing peserta (misalnya, pemrosesan data yang konsisten, pemodelan data yang hilang, verifikasi hasil yang dilaporkan asli, lebih banyak pilihan analisis, dll)

Stewart & Tierney (2002)

Stewart dan Tierney meninjau pro dan kontra dari meta-analisis data pasien individu yang berfokus terutama pada masalah-masalah praktis.

Riley Lambert et al (2007)

Mereka menggambarkan metode menggabungkan data pasien individu dengan data agregat dalam hal pendekatan satu langkah dan dua langkah.

Cooper & Patall (2009)

Cooper dan Patall menulis artikel sebagai bagian dari masalah khusus tentang meta-analisis data tingkat individu dalam Metode Psikologis (lihat Shrout, 2009 untuk ringkasan). Cooper dan Patall menggambarkan sintesis penelitian sebagai satu dalam tahap transisi kedua:

Transisi pertama adalah dari tinjauan penelitian naratif — di mana aturan buram dari aljabar kognitif digunakan untuk mensintesis hasil studi — menjadi meta-analisis [data agregat]. Tahap kedua melibatkan transisi dari meta-analisis [data agregat] ke akumulasi [data level peserta individu].

bersambung...

Referensi

• Cooper, H., & Patall, EA (2009). Manfaat relatif dari meta-analisis dilakukan dengan data peserta perorangan versus data agregat. Metode psikologis, 14 (2), 165–176. doi: 10.1037 / a0015565
• Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L., & Boutitie, F. (2007). Meta-analisis hasil yang berkelanjutan menggabungkan data pasien individu dan data agregat. Statistik dalam Kedokteran, 27 (11), 1870–1893. doi: 10.1002 / sim.3165 [PDF] (http://www.staessen.net/publications/2006-2010/08-21-P.pdf)
• Riley, RD, Lambert, PC, & Abo-Zaid, G. (2010). Meta-analisis data peserta individu: rasional, perilaku, dan pelaporan, BMJ, 340, 221.
• Riley RD, Simmonds MC, Lihat MP. (2007) Sintesis bukti yang menggabungkan data pasien individu dan data agregat: tinjauan sistematis mengidentifikasi praktik saat ini dan metode yang mungkin. Jurnal Epidemiologi Klinik, dalam pers dan pandangan awal.
• Riley, RD, & Steyerberg, EW (2010). Meta-analisis hasil biner menggunakan data peserta individu dan data agregat. Metode Sintesis Penelitian, 1 (1), 2-19. doi: 10.1002 / jrsm.4
• Shrout, PE (2009). Pandangan pendek dan panjang dari analisis data integratif: Komentar tentang kontribusi pada masalah khusus .. Metode psikologis, 14, 177.
• Simmonds MC, Higgins JPT, Stewart LA, Tierney JF, Clarke MJ, Thompson SG. (2005). Meta-analisis data masing-masing pasien dari uji acak: tinjauan metode yang digunakan dalam praktik. Uji klinis ; 2: 209–217.
• Stewart LA, Clarke MJ. Metodologi praktis meta-analisis (ikhtisar) menggunakan data pasien individu yang diperbarui. Kelompok Kerja Cochrane. Statistik dalam Kedokteran 1995; 14: 2057-2079.
• Stewart LA, Tierney JF. Ke IPD atau tidak ke IPD? Keuntungan dan kerugian dari tinjauan sistematis menggunakan data pasien secara individu. Eval Health Prof 2002; 25: 76-97.
• Sutton, AJ, Kendrick, D., & Coupland, CAC (2008). Meta-analisis data tingkat individu dan agregat. Statistik dalam Kedokteran, 27 (5), 651-669.