Tanpa pemodelan multi-level, bagaimana menangani replikasi dalam studi dalam meta-analisis, di mana studi adalah unit replikasi?

Deskripsi penelitian:

Saya telah mengamati kesalahan umum di antara meta-analisis, berkaitan dengan penanganan replikasi dalam studi. Tidak jelas bagi saya jika kesalahan membatalkan studi ketika asumsi dinyatakan. Namun, seperti yang saya pahami, asumsi ini melanggar premis dasar statistik.

Sebagai contoh, sebuah penelitian menguji efek kimia pada respon . $X$ $Y$

Analisis dilakukan pada rasio respons log: rasio perlakuan (dengan ) dengan kontrol (tidak ): $Y_{+X}$ $X$ $Y_{0}$ $X$

R = \ln (\frac{Y_{+ X}}{Y_{0}})

$R = \ln(\frac{Y_{+X}}{Y_{0}})$

Beberapa studi yang termasuk dalam meta-analisis mengandung beberapa perawatan, misalnya level atau bentuk kimia . Untuk setiap perlakuan, ada nilai yang berbeda dari , meskipun selalu menggunakan nilai yang sama dari . $X$ $R$ $R$ $Y_0$

Status metode:

$X$

Pertanyaan:

Bukankah ini pseudoreplication?
Apakah itu tidak pantas bahkan jika pelanggaran kemerdekaan dinyatakan dalam metode?
Apa yang akan menjadi cara mudah (misalnya dalam kemampuan paket perangkat lunak meta-analisis sederhana) untuk menangani dalam replikasi studi?

Pikiran awal:

Ringkaslah hasil dari setiap studi, misalnya dengan mengambil respons rata-rata
Pilih hanya satu perawatan dari setiap studi berdasarkan kriteria a-priori (mis. Dosis tertinggi, pengukuran pertama)?

Apakah ada solusi lain?

repeated-measures meta-analysis

— David LeBauer
sumber

Ini hanya tebakan cepat tetapi Anda mungkin ingin memeriksa Kim / Becker 2010: Tingkat Ketergantungan antara Ukuran Efek Beberapa Perawatan ; Saya belum membaca artikel ini tetapi mungkin terkait dengan pertanyaan Anda.

— Bernd Weiss

Apakah meta-analisis benar-benar hanya rata-rata semua nilai perbedaan R ini? Itu tampak agak aneh, dibandingkan dengan misalnya mencoba meta-regresi - dalam hal ini perbedaan antara R pada tingkat X yang berbeda mungkin adalah apa yang Anda tertarik untuk menggabungkan seluruh studi.

— tamu

@testan ya, mereka benar-benar; akan menarik bagaimana perbedaan tingkat X mempengaruhi R, tetapi pertanyaannya adalah "apakah ada efek X"? Mungkin ada kekuatan yang terbatas untuk menguji efek X pada R, dalam konteks ini (respon ekosistem terhadap penambahan nutrisi), karena variasi metode dan kondisi studi.

— David LeBauer

Anda benar, itu masalah. Tidak terlalu banyak dengan estimasi titik, tetapi ukuran presisi (yaitu kesalahan standar) akan terlalu kecil; itu mengabaikan beberapa penggunaan data kelompok kontrol. Namun tidak seharusnya, menjadi berita kepada siapa pun dalam meta-analisis. Artikel Kim / Becker di atas pada dasarnya adalah pernyataan ulang - dengan pengakuan - dari Gleser & Olkin (1994). Ukuran efek tergantung secara stokastik. Dalam Cooper & Hedges (Eds), Buku pegangan sintesis penelitian (hlm. 339–355). Buku ini adalah teks standar di lapangan, saya percaya sekarang di edisi kedua.

— tamu

Jawaban:

Ya, ini merupakan masalah karena ada ketergantungan sampel pada respons yang perlu dipertanggungjawabkan (walaupun kadang-kadang efeknya dapat diabaikan dan kami memang melanggar asumsi setiap saat ketika kami melakukan analisis statistik). Ada metode untuk menangani hal ini, salah satu pendekatannya adalah memasukkan kovariansi antara eksperimen terkait (blok off-diagonal) dalam matriks kesalahan varians-kovarians (lihat misalnya Hedges et al., 2010). Untungnya dengan rasio log ini agak mudah. Anda dapat memperoleh kovarian yang diperkirakan di antara eksperimen karena varians (var) dari log R adalah (jika Yx dan Y0 adalah grup independen): log Yx - log Y0, untuk mengikuti notasi dalam pertanyaan, Yx merujuk ke grup eksperimen dan Y0 kelompok kontrol. Kovarians (cov) antara dua nilai (mis. Perlakuan 1 och perlakuan 2) untuk log R adalah cov (loge Yx_1 - log Y0, log Yx_2 - log Y0), yang sama dengan var (log Y0), dan dihitung sebagai SD_Y0 / (n_Y0 * Y0), di mana SD_Y0 adalah standar deviasi Y0, n_Y0 adalah ukuran sampel dalam perlakuan kontrol, dan Y0 adalah nilai dalam perlakuan kontrol. Sekarang kita bisa menyambungkan seluruh matriks varians-kovarian ke dalam model kita daripada hanya menggunakan varians (ei) yang merupakan cara klasik untuk melakukan meta-analisis. Contoh dari ini dapat ditemukan diLimpens et al. 2011 menggunakan paket metahdep dalam R (on bioconductor), atau Stevens dan Taylor 2009 untuk Hedge's D.

Jika Anda ingin tetap sederhana, saya akan tergoda untuk mengabaikan masalah dan mencoba mengevaluasi efek ketergantungan sampel (misalnya berapa banyak perawatan yang ada dalam studi? Bagaimana hasilnya berubah jika saya hanya menggunakan satu perawatan? Dll) .

— GGeco
sumber

Ya, ini masalah.

Ya, itu tidak pantas meskipun setidaknya transparan tentang apa yang dilakukannya (mendapat poin untuk transparansi, tetapi masih tidak memuaskan).

Saya ragu ada "cara mudah" untuk memperbaikinya. Saya tidak tahu banyak tentang pendekatan yang diambil untuk analisis meta tetapi jika ada perangkat lunak meta-analisis spesifik dan penelitian seperti ini diproduksi menggunakannya dan dipublikasikan, ini mungkin merupakan pendekatan umum. Salah satu dari tanggapan yang Anda ajukan akan kehilangan beberapa rincian informasi dari setiap studi (yaitu masalah sebaliknya dari apa yang telah dilakukan penerbit).

Solusi yang jelas adalah model efek-campuran (yaitu multilevel) dengan studi sebagai faktor acak. Saya akan menyarankan menggunakan paket statistik khusus untuk ini jika perangkat lunak meta-analisis tidak dapat melakukannya. Anda masih bisa menggunakan perangkat lunak meta-analisis untuk penyimpanan dan pemrosesan data, dan hanya mengekspor data ke R, Stata atau SAS untuk analisis.

— Peter Ellis
sumber

Saya telah memikirkan uji klinis dan bertanya-tanya apakah itu baik-baik saja dalam situasi di mana kurva dosis-respons adalah hasilnya, karena dengan begitu bisa membandingkan fungsi kurva. Apakah itu suatu kemungkinan?

— Michelle

Saya tidak berpikir itu membuat banyak perbedaan pada masalah yang beberapa hasil dari satu studi entah bagaimana akan dikorelasikan dan karenanya bukan informasi "baru". Tetapi analisis meta fungsi kurva tentu mungkin dilakukan, selama Anda entah bagaimana mengendalikan korelasi antara berbagai perkiraan kurva tersebut. Jika mereka semua dari bentuk yang sama dan itu hanya masalah memperkirakan parameter itu harus mungkin.

— Peter Ellis

@Michelle saya setuju dengan Peter: jika Anda meringkas parameter kurva, maka Anda mendapatkan satu estimasi parameter dari setiap kurva, dan itu akan baik-baik saja.

— Abe