Mengapa menemukan efek kecil dalam studi besar menunjukkan bias publikasi?

Beberapa makalah metodologi (misalnya Egger et al 1997a, 1997b) membahas bias publikasi seperti yang diungkapkan oleh meta-analisis, menggunakan plot corong seperti yang di bawah ini.

Makalah 1997b selanjutnya mengatakan bahwa "jika bias publikasi hadir, diharapkan, dari studi yang dipublikasikan, yang terbesar akan melaporkan efek terkecil." Tapi kenapa begitu? Tampaknya bagi saya bahwa semua ini akan membuktikan adalah apa yang sudah kita ketahui: efek kecil hanya dapat dideteksi dengan ukuran sampel besar ; sambil mengatakan apa-apa tentang studi yang tetap tidak dipublikasikan.

Juga, karya yang dikutip mengklaim bahwa asimetri yang dinilai secara visual dalam plot corong "menunjukkan bahwa ada non-publikasi selektif uji coba yang lebih kecil dengan manfaat yang kurang besar." Tapi, sekali lagi, saya tidak mengerti bagaimana setiap fitur dari studi yang telah dipublikasikan mungkin bisa menceritakan apa-apa (memungkinkan kita untuk membuat kesimpulan) tentang karya yang tidak dipublikasikan!

Referensi
Egger, M., Smith, GD, & Phillips, AN (1997). Meta-analisis: prinsip dan prosedur . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Bias dalam meta-analisis terdeteksi oleh tes grafis sederhana . BMJ , 315 (7109), 629-634.

Jawaban di sini bagus, +1 untuk semua. Saya hanya ingin menunjukkan bagaimana efek ini terlihat dalam istilah alur corong dalam kasus yang ekstrem. Di bawah ini saya mensimulasikan efek kecil sebagai $N(.01, .1)$ dan menggambar sampel antara 2 dan 2000 pengamatan.

$p < .05$

Seperti yang Anda lihat, di bawah bias publikasi ada kecenderungan kuat untuk studi kecil untuk melebih-lebihkan ukuran efek dan bagi yang lebih besar untuk melaporkan ukuran efek lebih dekat dengan kebenaran.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Dibuat pada 2019-02-20 oleh paket reprex (v0.2.1)}

Pertama, kita perlu berpikir tentang apa "bias publikasi" itu, dan bagaimana hal itu akan memengaruhi apa yang sebenarnya membuatnya menjadi literatur.

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ sebenarnya jauh lebih kecil daripada apa yang biasanya kita lihat dari percobaan yang lebih kecil yang membuatnya menjadi publikasi.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Baca pernyataan ini dengan cara yang berbeda:

Jika tidak ada bias publikasi, ukuran efek harus independen dari ukuran studi.

Artinya, jika Anda mempelajari satu fenomena, ukuran efek adalah properti dari fenomena, bukan sampel / penelitian.

Perkiraan ukuran efek dapat (dan akan) bervariasi di seluruh studi, tetapi jika ada ukuran efek penurunan sistematis dengan meningkatnya ukuran studi , itu menunjukkan ada bias. Intinya adalah bahwa hubungan ini menunjukkan bahwa ada studi kecil tambahan yang menunjukkan ukuran efek rendah yang belum dipublikasikan, dan jika mereka diterbitkan dan karenanya dapat dimasukkan dalam analisis meta, kesan keseluruhan adalah bahwa ukuran efek lebih kecil dari apa yang diperkirakan dari subset studi yang diterbitkan.

Varian dari estimasi ukuran efek di seluruh studi akan tergantung pada ukuran sampel, tetapi Anda harus melihat jumlah yang sama dari estimasi di bawah dan di atas pada ukuran sampel yang rendah jika tidak ada bias.