Catatan: Jika Anda ingin jawaban cepat untuk pertanyaan Anda tentang menggunakan tes heterogenitas untuk membuat keputusan ini, gulir ke bawah ke " Manakah Pembenaran Yang Wajar? ".
Ada beberapa justifikasi (beberapa lebih / kurang masuk akal daripada yang lain) yang ditawarkan oleh peneliti untuk pemilihan mereka atas efek meta-analitik analitik efek-tetap. Ini dibahas dalam buku teks meta-analisis pengantar, seperti Borenstein et al. (2009), Card (2011), dan Cooper (2017).
Tanpa mengutuk atau memaafkan salah satu dari pembenaran ini (belum), mereka termasuk:
Justifikasi untuk Pemilihan Model Efek Tetap
- Kesederhanaan Analitik : Beberapa orang merasa perhitungan / interpretasi dari model efek-acak berada di luar pemahaman statistik mereka, dan oleh karena itu berpegang pada model yang lebih sederhana. Dengan model efek tetap, peneliti hanya perlu memperkirakan variabilitas ukuran efek yang didorong oleh kesalahan pengambilan sampel. Baik atau buruk, ini adalah praktik pragmatis yang didorong secara eksplisit dalam Card (2011).
Keyakinan Sebelumnya pada Tidak Ada Variabilitas Tingkat Studi / Moderator : Jika seorang peneliti percaya bahwa semua ukuran efek dalam sampel mereka hanya bervariasi karena kesalahan pengambilan sampel - dan bahwa tidak ada variabilitas tingkat studi sistematis (dan karena itu tidak ada moderator - akan ada sedikit keharusan untuk mencocokkan model efek-acak. Saya pikir pembenaran ini dan yang pertama kadang-kadang berjalan seiring, ketika seorang peneliti merasa pas model efek-acak berada di luar kapasitas mereka, dan kemudian merasionalisasi keputusan ini dengan mengklaim, setelah faktanya, bahwa mereka tidak mengantisipasi sejumlah heterogenitas tingkat studi yang sebenarnya.
Moderator Sistematis Telah Sangat Dipertimbangkan : Beberapa peneliti dapat menggunakan analisis efek tetap setelah mereka menyelidiki dan memperhitungkan setiap moderator yang dapat mereka pikirkan. Dasar pemikiran yang mendasari di sini adalah bahwa begitu seorang peneliti menghitung setiap sumber yang mungkin / bermakna dari variabilitas tingkat studi, semua yang dapat ditinggalkan adalah kesalahan pengambilan sampel, dan oleh karena itu model efek-acak tidak diperlukan.
- Q
- Niat untuk Membuat Kesimpulan Terbatas / Spesifik : Model efek tetap sesuai untuk berbicara dengan pola efek secara ketat dalam sampel efek. Oleh karena itu, seorang peneliti mungkin membenarkan pemasangan model efek-tetap jika mereka merasa nyaman berbicara hanya dengan apa yang sedang terjadi dalam sampel mereka, dan tidak berspekulasi tentang apa yang mungkin terjadi dalam penelitian yang terlewatkan oleh ulasan mereka, atau dalam penelitian yang datang setelah ulasan mereka.
Pembenaran untuk Pemilihan Model Efek-Acak
Keyakinan Sebelumnya dalam Variabilitas / Moderator Tingkat Studi : Berbeda dengan Justifikasi 2. (mendukung model efek tetap), jika peneliti mengantisipasi bahwa akan ada sejumlah variabilitas tingkat studi yang bermakna (dan karenanya moderasi), mereka akan default untuk menentukan model efek-acak. Jika Anda berasal dari latar belakang psikologi (saya tahu), ini menjadi semakin rutin / mendorong cara berpikir standar tentang ukuran efek (misalnya, lihat Cumming, 2014).
QQQ
Q
Niat untuk Membuat Kesimpulan yang Luas / Dapat Dieneralisasi : Tidak seperti model efek tetap, model efek acak melisensikan peneliti untuk berbicara (sampai tingkat tertentu) di luar sampel mereka, dalam hal pola efek / moderasi yang akan dimainkan dalam literatur yang lebih luas. Jika tingkat inferensi ini diinginkan oleh seorang peneliti, maka mereka mungkin lebih suka model efek-acak.
Konsekuensi Menentukan Model yang Salah
Meskipun bukan bagian eksplisit dari pertanyaan Anda, saya pikir penting untuk menunjukkan mengapa penting bagi peneliti untuk "melakukannya dengan benar" ketika memilih antara model meta-analisis efek tetap dan efek acak: sebagian besar tergantung pada estimasi presisi dan kekuatan statistik .
Model efek tetap lebih kuat secara statistik dengan risiko menghasilkan perkiraan yang tepat secara buatan; model efek acak kurang kuat secara statistik, tetapi berpotensi lebih masuk akal jika ada heterogenitas sejati. Dalam konteks pengujian moderator, model efek tetap dapat meremehkan tingkat varians kesalahan, sementara model efek-acak dapat melebih-lebihkan tingkat varians kesalahan (tergantung pada apakah asumsi pemodelan mereka dipenuhi atau dilanggar, lihat Overton, 1998). Sekali lagi, dalam literatur psikologi, ada perasaan yang meningkat bahwa bidang ini terlalu bergantung pada meta-analisis efek-tetap, dan oleh karena itu kami telah menipu diri sendiri dengan rasa kepastian / presisi yang lebih besar dalam efek kami (lihat Schmidt et al. ., 2009).
Pembenaran Mana yang Wajar?
QQQ cenderung kurang bertenaga untuk mendeteksi heterogenitas yang berarti (atau kelebihan daya untuk mendeteksi jumlah heterogen yang sepele).
Kesederhanaan analitik ( Pembenaran 1. ) nampak seperti pembenaran lain untuk model efek tetap yang tidak mungkin berhasil (karena alasan yang menurut saya lebih jelas). Argumen bahwa semua moderator yang mungkin telah habis ( Justifikasi 3. ), di sisi lain, bisa lebih menarik dalam beberapa kasus, jika peneliti dapat menunjukkan bahwa mereka telah mempertimbangkan / memodelkan berbagai variabel moderator. Jika mereka hanya mengkodekan beberapa moderator, pembenaran ini kemungkinan akan dipandang sebagai cukup spekulatif / lemah.
Membiarkan data membuat keputusan melalui model efek acak default ( Pembenaran 8. ) adalah sesuatu yang saya rasa tidak pasti. Ini tentu saja bukan keputusan yang aktif / berprinsip, tetapi ditambah dengan pergeseran bidang psikologi ke arah memilih model efek-acak sebagai default, itu mungkin terbukti menjadi pembenaran yang dapat diterima (meskipun tidak terlalu bijaksana).
Yang meninggalkan pembenaran terkait dengan keyakinan sebelumnya mengenai distribusi efek ( Pembenaran 2. dan Pembenaran 6. ), dan yang terkait dengan jenis kesimpulan yang peneliti ingin dilisensikan untuk dibuat ( Pembenaran 5. dan Pembenaran 9.). Masuk akal keyakinan sebelumnya tentang distribusi efek sebagian besar akan datang ke fitur penelitian yang Anda sintesis; seperti yang dicatat Cooper (2017), jika Anda mensintesis efek proses mekanistik / universal, dikumpulkan dari konteks / sampel yang hampir sama, dan di lingkungan yang dikontrol ketat, analisis efek tetap bisa sepenuhnya masuk akal. Mensintesis hasil dari replikasi percobaan yang sama akan menjadi contoh yang baik kapan strategi analitik ini diinginkan (lihat. Goh et al., 2016). Namun, jika Anda sedang mensintesis bidang di mana desain, manipulasi, ukuran, konteks, dan karakteristik sampel sedikit berbeda, tampaknya menjadi semakin sulit untuk berpendapat bahwa seseorang sedang mempelajari dengan tepatefek yang sama di setiap instance. Terakhir, jenis-jenis kesimpulan yang ingin dibuatnya tampaknya masalah preferensi / selera pribadi, jadi saya tidak yakin bagaimana seseorang akan mulai berdebat untuk / menentang pembenaran ini selama itu tampaknya secara konseptual dapat dipertahankan.
Referensi
Borenstein, M., Hedges, LV, Higgins, JPT, & Rothstein, HR (2009). Pengantar meta-analisis . Sussex Barat, Inggris: Wiley.
Card, NA (2011). Meta-analisis terapan untuk penelitian ilmu sosial. New York, NY: Guilford Press.
Cooper, H. (2017). Sintesis dan meta analisis penelitian: Pendekatan langkah demi langkah. Thousand Oaks, CA: Sage.
Cumming, G. (2014). Statistik baru: Mengapa dan bagaimana. Ilmu Psikologi , 25 (1), 7-29.
Goh, JX, Hall, JA, & Rosenthal, R. (2016). Mini Meta-Analisis Studi Anda Sendiri: Beberapa Argumen tentang Mengapa dan Primer tentang Bagaimana. Kompas Psikologi Sosial dan Kepribadian , 10 (10), 535-549.
Overton, RC (1998). Perbandingan model efek-tetap dan campuran (efek-acak) untuk uji meta-analisis efek variabel moderator. Metode Psikologis , 3 (3), 354-379.
Schmidt, FL, Oh, IS, & Hayes, TL (2009). Model fixed-versus random-effect dalam meta-analysis: Properti model dan perbandingan empiris perbedaan hasil. British Journal of Matematika dan Statistik Psikologi , 62 (1), 97-128.