Robek antara PET-PEESE dan pendekatan multilevel untuk meta-analisis: apakah ada media yang bahagia?

Saat ini saya sedang mengerjakan meta-analisis, untuk itu saya perlu menganalisis berbagai ukuran efek yang bersarang di dalam sampel. Saya setuju dengan pendekatan meta-analisis tiga tingkat Cheung (2014) untuk meta-analisis ukuran efek dependen, yang bertentangan dengan beberapa strategi lain yang mungkin (misalnya, mengabaikan ketergantungan, rata-rata ukuran efek dalam penelitian, memilih satu ukuran efek, atau menggeser unit analisis). Banyak ukuran efek dependen saya adalah korelasi yang melibatkan variabel yang cukup berbeda (tetapi terkait topikal), sehingga rata-rata di antara mereka tidak masuk akal secara konseptual, dan bahkan jika itu terjadi, itu akan memotong jumlah ukuran efek total saya untuk dianalisis hampir setengahnya.

Namun, pada saat yang sama, saya juga tertarik menggunakan metode Stanley & Doucouliagos (2014) untuk mengatasi bias publikasi dalam rangka memperkirakan efek meta-analitik. Singkatnya, satu cocok model meta-regresi memprediksi ukuran efek studi oleh varians masing-masing (uji efek presisi, atau PET), atau masing-masing kesalahan standar (perkiraan efek presisi dengan kesalahan standar, atau PEESE). Bergantung pada pentingnya intersep dalam model PET, kita bisa menggunakan intersep dari model PET (jika PET mencegat p > .05) atau model PEESE (jika PET mencegat p <.05) sebagai perkiraan publikasi- ukuran efek rata-rata bebas bias.

Masalah saya, bagaimanapun, berasal dari kutipan Stanley & Doucouliagos (2014):

Dalam simulasi kami, kelebihan heterogenitas yang tidak dapat dijelaskan selalu dimasukkan; dengan demikian, dengan praktik konvensional, REE [penduga efek acak] harus lebih disukai daripada FEE [penduga efek tetap]. Namun, praktik konvensional salah ketika ada pemilihan publikasi. Dengan pemilihan untuk signifikansi statistik, REE selalu lebih bias daripada FEE (Tabel 3). In inferioritas yang dapat diprediksi ini disebabkan oleh fakta bahwa REE sendiri merupakan rata-rata tertimbang dari rata-rata sederhana, yang memiliki bias publikasi terbesar, dan FEE.

Bagian ini membuat saya percaya bahwa saya tidak boleh menggunakan PET-PEESE dalam model meta-analitik efek-acak / efek-campuran, tetapi model meta-analitik multilevel tampaknya membutuhkan penduga efek-acak.

Saya bingung apa yang harus dilakukan. Saya ingin dapat memodelkan semua ukuran efek dependen saya, tetapi secara bersamaan mengambil keuntungan dari metode khusus ini untuk mengoreksi bias publikasi. Apakah ada cara bagi saya untuk mengintegrasikan secara sah strategi meta-analisis 3-level dengan PET-PEESE?

Referensi

Cheung, MWL (2014). Memodelkan ukuran efek dependen dengan meta analisis tiga tingkat: Pendekatan pemodelan persamaan struktural. Metode Psikologis , 19 , 211-229.

Stanley, TD, & Doucouliagos, H. (2014). Perkiraan meta-regresi untuk mengurangi bias pemilihan publikasi. Metode Sintesis Penelitian , 5 , 60-78.

Saya telah mengerjakan meta-analisis yang mengikuti terutama pendekatan Cheung (tetapi bukan pada 3 level) dan baru-baru ini menemukan pendekatan PET-PEESE untuk mengoreksi bias publikasi. Saya juga tertarik pada kombinasi dari dua pendekatan. Sejauh ini pengalaman saya. Saya pikir ada dua cara untuk mengatasi masalah Anda. Yang sederhana dan yang lebih rumit.

Kutipan di bawah ini tampaknya menunjukkan bahwa efek acak memperburuk bias publikasi sehingga bagi saya tampaknya jika Anda menduga bias publikasi menjadi masalah, Anda tidak bisa hanya menggunakan model efek acak.

Dengan pemilihan untuk signifikansi statistik, REE selalu lebih bias daripada FEE (Tabel 3). In inferioritas yang dapat diprediksi ini disebabkan oleh fakta bahwa REE sendiri merupakan rata-rata tertimbang dari rata-rata sederhana, yang memiliki bias publikasi terbesar, dan FEE.

Saya berasumsi bahwa bias publikasi adalah masalah serius.

Pendekatan sederhana: Model heterogenitas di bawah PET-PEESE

Jika saya memahami pertanyaan dengan benar, saya pikir pendekatan ini adalah titik awal yang paling pragmatis.

Pendekatan PET-PEESE cocok untuk ekstensi untuk regresi meta-analitik. Jika sumber heterogenitas berasal terutama dari variabel yang berbeda dalam ukuran efek daripada Anda dapat memodelkan heterogenitas sebagai efek tetap dengan memasukkan variabel indikator (1/0) untuk setiap variabel *. Selain itu, jika Anda menduga bahwa beberapa variabel memiliki sifat pengukuran yang lebih baik atau lebih dekat terkait dengan minat Anda, Anda mungkin ingin melihat gaya Hunter dan Schmidt dari meta-analisis. Mereka mengusulkan beberapa koreksi untuk kesalahan pengukuran.

Pendekatan ini mungkin akan memberi Anda gagasan awal tentang ukuran bias publikasi melalui penyadapan PET dan PEESE dan tentang heterogenitas berdasarkan variasi dalam efek tetap.

Pendekatan yang lebih rumit: Model heterogenitas dan bias publikasi secara eksplisit

Maksud saya, Anda secara eksplisit memodelkan terjadinya bias publikasi menurut makalah Stanley dan Doucouliagos. Anda juga harus secara eksplisit menuliskan tiga tingkat Cheung sebagai efek acak. Dengan kata lain, pendekatan ini mengharuskan Anda untuk menentukan kemungkinannya sendiri dan mungkin akan menjadi kontribusi metodologis itu sendiri.

Saya pikir adalah mungkin untuk menentukan kemungkinan seperti itu (dengan prior yang sesuai) mengikuti pendekatan Bayes hirarkis di Stan dan menggunakan perkiraan posterior. The pengguna memiliki bagian pendek pada meta-analisis. Daftar pengguna juga sangat membantu.

Pendekatan kedua mungkin berlebihan untuk apa yang Anda inginkan pada tahap ini tetapi mungkin akan lebih benar daripada pendekatan pertama. Dan saya akan tertarik pada apakah itu berhasil.

* Jika Anda memiliki banyak variabel (dan tidak banyak ukuran efek) daripada mungkin lebih baik untuk mengelompokkan variabel yang mirip ke dalam kelompok (ya, itu adalah panggilan penilaian), dan gunakan variabel indikator grup.