Dapatkah meta-analisis studi yang semuanya "tidak signifikan secara statistik" mengarah pada kesimpulan "signifikan"?

Sebuah meta-analisis mencakup banyak studi, yang semuanya melaporkan nilai P lebih besar dari 0,05. Apakah mungkin untuk keseluruhan meta-analisis untuk melaporkan nilai P kurang dari 0,05? Dalam keadaan apa?

(Saya cukup yakin jawabannya adalah ya, tapi saya ingin referensi atau penjelasan.)

statistical-significance meta-analysis combining-p-values

— Harvey Motulsky
sumber

Saya tidak tahu banyak tentang meta-analisis, tetapi saya mendapat kesan bahwa itu tidak melibatkan tes hipotesis apa pun, hanya perkiraan efek populasi, dalam hal ini tidak ada pengertian tentang signifikansi untuk dibicarakan.

— Kodiologist

Nah, meta-analisis - pada akhir hari - hanyalah rata-rata tertimbang. Dan Anda tentu saja dapat membuat tes hipotesis untuk rata-rata tertimbang itu. Lihat, misalnya, Borenstein, Michael, et al. "Pengantar dasar untuk model efek tetap dan efek acak untuk meta-analisis." Metode Sintesis Penelitian 1.2 (2010): 97-111.

— boscovich

Jawaban lain juga baik, tetapi kasus sederhana: dua studi signifikan pada p = 0,9 tetapi tidak p = 0,95. Probabilitas bahwa dua studi independen akan menunjukkan p> = 0,9 hanya 0,01, sehingga analisis meta Anda dapat menunjukkan signifikansi pada p = 0,99

— barrycarter

Ambillah batas: Tidak ada satu pengukuran yang dapat memberikan bukti yang cukup untuk / terhadap hipotesis (nontrivial) untuk memiliki nilai

kecil

p

$p$ , tetapi koleksi pengukuran yang cukup besar dapat.

— Eric Towers

nilai p tidak menunjukkan efek "signifikan secara statistik" atau tidak signifikan. Apa yang bisa kita pahami dari kesimpulan yang signifikan? Apakah ini merupakan kesimpulan meta analitik?

— Subhash C. Davar

Jawaban:

Secara teori, ya ...

Hasil studi individu mungkin tidak signifikan tetapi dilihat bersama-sama, hasilnya mungkin signifikan.

Secara teori Anda dapat melanjutkan dengan memperlakukan hasil $y_i$ studi $i$ seperti variabel acak lainnya.

Mari ada beberapa variabel acak (misalnya. Estimasi dari penelitian ). Kemudian jika adalah independen dan , Anda dapat secara konsisten memperkirakan rata dengan: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{saya} y_{saya}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Menambahkan lebih banyak asumsi, misalkan menjadi varian estimasi . Maka Anda dapat secara efisien memperkirakan dengan bobot varians terbalik: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{saya} w_{saya} y_{saya} w_{saya} = \frac{1 / σ_{saya}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

Dalam kedua kasus mungkin signifikan secara statistik pada tingkat kepercayaan bahkan jika perkiraan individu tidak. $\hat{\mu}$

TAPI mungkin ada masalah besar, masalah yang harus diperhatikan ...

Jika maka meta-analisis mungkin tidak konvergen ke (yaitu rata-rata meta-analisis adalah penduga yang tidak konsisten). $E[y_i] \neq \mu$ $\mu$

Misalnya, jika ada bias terhadap penerbitan hasil negatif, meta-analisis sederhana ini mungkin sangat tidak konsisten dan bias! Ini akan seperti memperkirakan probabilitas bahwa sebuah koin membalik kepala dengan hanya mengamati flips di mana ia tidak mendaratkan ekornya!
dan mungkin tidak independen. Misalnya, jika dua studi dan didasarkan pada data yang sama, maka memperlakukan dan sebagai independen dalam meta-analisis dapat sangat meremehkan kesalahan standar dan melebih-lebihkan signifikansi statistik. Perkiraan Anda masih konsisten, tetapi kesalahan standar perlu menjelaskan korelasi silang dalam studi. $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
Menggabungkan (1) dan (2) bisa sangat buruk.

Sebagai contoh, meta-analisis dari rata-rata jajak pendapat cenderung lebih akurat daripada jajak pendapat individu. Tapi rata-rata jajak pendapat bersama masih rentan terhadap kesalahan berkorelasi. Sesuatu yang telah muncul dalam pemilihan terakhir adalah bahwa pekerja muda yang keluar cenderung cenderung mewawancarai orang muda lainnya daripada orang tua. Jika semua jajak pendapat keluar membuat kesalahan yang sama, maka Anda memiliki perkiraan buruk yang menurut Anda adalah perkiraan yang baik (jajak pendapat keluar berkorelasi karena mereka menggunakan pendekatan yang sama untuk melakukan jajak pendapat keluar dan pendekatan ini menghasilkan kesalahan yang sama).

Tidak diragukan lagi orang yang lebih akrab dengan meta-analisis dapat memberikan contoh yang lebih baik, masalah yang lebih bernuansa, teknik estimasi yang lebih canggih, dll ..., tetapi ini mendapatkan beberapa teori paling dasar dan beberapa masalah yang lebih besar. Jika studi yang berbeda membuat independen, kesalahan acak, maka meta-analisis mungkin sangat kuat. Jika kesalahannya sistematis di seluruh studi (mis. Setiap orang menghitung lebih rendah pemilih yang lebih tua, dll ...), maka rata-rata studi juga akan mati. Jika Anda meremehkan bagaimana studi berkorelasi atau bagaimana kesalahan berkorelasi, Anda secara efektif memperkirakan ukuran sampel agregat Anda dan meremehkan kesalahan standar Anda.

Ada juga semua jenis masalah praktis dari definisi yang konsisten dll ...

— Matthew Gunn
sumber

Saya mengkritik meta-analisis karena mengabaikan ketergantungan antara ukuran efek (yaitu, banyak ukuran efek didasarkan pada peserta yang sama, tetapi diperlakukan sebagai independen). Penulis mengatakan tidak masalah, kami hanya tertarik dengan moderator. Saya membuat poin yang Anda buat di sini: memperlakukan mereka "sebagai independen dalam meta-analisis dapat sangat meremehkan kesalahan standar dan melebih-lebihkan signifikansi statistik." Apakah ada studi bukti / simulasi yang menunjukkan mengapa hal ini terjadi? Saya punya banyak referensi yang mengatakan bahwa kesalahan berkorelasi berarti meremehkan SE ... tapi saya tidak tahu mengapa?

— Mark White

@ MarkWhite Ide dasarnya tidak lebih rumit dari

. Jika untuk semua

kita memiliki

dan

untuk

lalu

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

dan kesalahan standar Anda adalah

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

. Di sisi lain, jika persyaratan kovarians positif dan besar, kesalahan standar akan menjadi lebih besar.

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Matthew Gunn

@MarkWhite Saya bukan ahli meta-analisis, dan saya jujur tidak tahu apa sumber yang bagus untuk bagaimana orang harus melakukan meta-analisis modern. Secara konseptual, mereplikasi analisis pada data yang sama tentu berguna (seperti mempelajari beberapa subjek secara intensif), tetapi itu tidak sama dengan mereproduksi temuan pada subjek baru yang independen.

— Matthew Gunn

Ah, jadi dalam kata-kata: Varians total ukuran efek berasal dari (a) variansnya dan (b) itu kovarians dengan ukuran efek lainnya. Jika kovarians adalah 0, maka estimasi kesalahan standar baik-baik saja; tetapi jika itu bersinggungan dengan ukuran efek lainnya, kita perlu memperhitungkan varians itu, dan mengabaikannya berarti kita meremehkan varians tersebut. Ini seperti varians terdiri dari dua bagian A dan B, dan mengabaikan dependensi mengasumsikan bagian B adalah 0 ketika bukan?

— Mark White

Juga, ini tampaknya menjadi sumber yang baik (lihat Kotak 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

Iya nih. Misalkan Anda memiliki nilai- p dari studi independen $N$ $N$

Tes Fisher

(EDIT - sebagai tanggapan terhadap komentar berguna @ mdewey di bawah ini, relevan untuk membedakan antara berbagai tes meta. Saya menguraikan kasus tes meta lain yang disebutkan oleh mdewey di bawah)

Uji meta Fisher klasik (lihat Fisher (1932), "Metode Statistik untuk Pekerja Penelitian" ) statistik memiliki distribusi nol, seperti untuk rv seragam .

F = - 2 \sum_{saya = 1}^{N} dalam ({hal}_{saya})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Misalkan menunjukkan -quantile dari distribusi nol. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Misalkan semua nilai p sama dengan , di mana, mungkin, . Kemudian, dan ketika $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ Sebagai contoh, untukdan, nilaiindividuhanya perlu kurang dari

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Tentu saja, yang diuji statistik meta adalah "hanya" "agregat" nol yang semua nol individu adalah benar, yang harus ditolak segera setelah hanya satu dari nol yang palsu. $N$

EDIT:

Berikut ini adalah plot dari nilai-p "yang dapat diterima" terhadap , yang mengonfirmasi bahwa tumbuh dalam , meskipun tampaknya pada . $N$ $c$ $N$ $c\approx0.36$

Saya menemukan sebuah batas atas untuk quantiles dari distribusi $\chi^2$ sini, menunjukkan bahwasehingga

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

dibatasi dari atas oleh

sebagai

. Sebagai

, batas ini tampaknya cukup tajam.

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Uji Inverse Normal (Stouffer et al., 1949)

Statistik uji diberikan oleh

Z = \frac{1}{\sqrt{N}} \sum_{saya = 1}^{N} Φ^{- 1} ({hal}_{saya})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Christoph Hanck
sumber

1 / e

$1/e$

Terima kasih :-). Saya tidak mengharapkan satu pun sebelum saya melihat plot ...

— Christoph Hanck

Menariknya metode karena Fisher adalah satu-satunya metode yang umum digunakan yang memiliki properti ini. Untuk sebagian besar yang lain apa yang Anda sebut F meningkat dengan N jika $ c> 0,5) dan menurun sebaliknya. Itu berlaku untuk metode Stouffer dan metode Edgington serta metode berdasarkan log dan rata-rata p. Berbagai metode yang merupakan kasus khusus dari metode Wilkinson (p minimum, p maksimum, dll) memiliki sifat yang berbeda lagi.

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

{hal}_{[1]} \leq {hal}_{[2]} ... {hal}_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

{hal}_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

Metode LHC Tippett dijelaskan dalam buku Metode statistik. 1931 (edisi pertama) dan metode Wilkinson ada di sini dalam artikel "Pertimbangan statistik dalam penelitian psikologis"

— Nyonya
sumber

Terima kasih. Tetapi perhatikan bahwa sebagian besar metode meta-analisis menggabungkan ukuran efek (memperhitungkan perbedaan ukuran sampel), dan tidak menggabungkan nilai P.

— Harvey Motulsky

@HarveyMotulsky setuju, menggabungkan nilai-p adalah pilihan terakhir tetapi OP benar-benar menandai pertanyaannya dengan tag nilai-menggabungkan jadi saya menjawab dalam semangat itu

— mdewey

Saya pikir jawaban Anda benar.

— Subhash C. Davar