Menghitung ukuran efek dan kesalahan standar untuk perbedaan antara dua perbedaan rata-rata terstandarisasi

Saya memiliki dua pertanyaan terkait, yang keduanya terkait dengan meta-analisis yang saya lakukan di mana di mana hasil utama dinyatakan dalam perbedaan standar rata-rata.

Studi saya memiliki banyak variabel yang tersedia untuk menghitung perbedaan rata-rata terstandarisasi. Saya ingin mengetahui sejauh mana perbedaan rata-rata terstandarisasi yang dihitung pada satu variabel konsisten dengan perbedaan rata-rata terstandarisasi pada yang lain. Menurut saya, pertanyaan ini dapat dinyatakan sebagai meta-analisis tentang perbedaan antara dua set perbedaan rata-rata terstandarisasi. Namun, saya mengalami kesulitan menentukan ukuran efek dan kesalahan pengambilan sampel untuk perbedaan antara dua perbedaan rata-rata terstandarisasi dalam penelitian yang sama.

Untuk mengungkapkan masalah saya dengan cara yang berbeda, pertimbangkan studi dua kondisi dengan grup dan dan variabel hasil dan . Dua variabel hasil ini dikorelasikan sebagai . Kita dapat menghitung perbedaan rata-rata terstandarisasi untuk dan di seluruh dan , menghasilkan , , dan varians sampelnya dan . Saya telah memasukkan skema yang sangat sederhana dari situasi di bawah ini. $g_1$ $g_2$ $var_1$ $var_2$ $cor(var_1, var_2)$ $var_1$ $var_2$ $g_1$ $g_2$ $d_{var1}$ $d_{var_2}$ $v_{d_{var_1}}$ $v_{d_{var_2}}$

masukkan deskripsi gambar di sini

Sekarang katakanlah kita menghitung perbedaan antara dan sebagai . Saya dapat menghitung selisih rata-rata terstandarisasi pada dan sebagai , yang memiliki varians sampel . $var_1$ $var_2$ $diff$ $g_1$ $g_2$ $d_{diff}$ $v_{d_{diff}}$

Yang ingin saya lakukan adalah mengekspresikan dan dalam hal variabel-variabel berikut: $d_{diff}$ $v_{d_{diff}}$

Ukuran efek dan , $d_{var_1}$ $d_{var_2}$
Varians sampel dan , dan $v_{d_{var_1}}$ $v_{d_{var_2}}$
Korelasi $cor(var_1, var_2)$

Saya merasa tujuan ini harus dimungkinkan mengingat kenyataan bahwa, dalam konteks (non meta-analitik) yang sederhana, standar deviasi perbedaan antara dan diberikan sebagai $var_1$ $var_2$

$sd(var_1)^2 + sd(var_2)^2 - 2 * cor(var_1, var_2) * sd(var_1) * sd(var_2)$

Saya juga tertarik pada situasi yang sedikit lebih rumit di mana seseorang memiliki studi dengan 3 (atau lebih) kelompok, dan karena itu orang menghitung dua set perbedaan rata-rata terstandarisasi antara dua variabel kandidat.

Untuk mengungkapkan pertanyaan kedua ini dengan cara yang berbeda, asumsikan bahwa studi yang diberikan memiliki tiga grup , , dan dan dua variabel hasil dan . Selanjutnya, asumsikan sekali lagi bahwa dan dikorelasikan sebagai . $g_1$ $g_2$ $g_3$ $var_1$ $var_2$ $var_1$ $var_2$ $cor(var_1, var_2)$

Pilih grup sebagai grup referensi dan, untuk , hitung ukuran efek untuk grup vs dan vs . Ini akan menghasilkan dua set ukuran efek untuk masing-masing dan - untuk , dan , dan, untuk , dan . Ini juga akan menghasilkan dua varians pengambilan sampel untuk setiap set ukuran efek (untuk , dan $g_1$ $var_1$ $g_1$ $g_2$ $g_1$ $g_3$ $var_1$ $var_2$ $var_1$ $d_{var1_{g_1 - g_2}}$ $d_{var1_{g_1 - g_3}}$ $var_2$ $d_{var2_{g_1 - g_2}}$ $d_{var2_{g_1 - g_3}}$ $var_1$ $v_{d_{var1_{g_1 - g_2}}}$ $v_{d_{var1_{g_1 - g_3}}}$ , dan, untuk , dan ) dan satu kovarians pengambilan sampel untuk masing-masing variabel (untuk , , dan, untuk , ). Saya telah memasukkan skema yang sangat sederhana dari situasi di bawah ini. $var_2$ $v_{d_{var2_{g_1 - g_2}}}$ $v_{d_{var2_{g_1 - g_3}}}$ $var_1$ $cov(d_{var1_{g_1 - g_2}}, d_{var1_{g_1 - g_3}})$ $var_2$ $cov(d_{var2_{g_1 - g_2}}, d_{var2_{g_1 - g_3}})$

masukkan deskripsi gambar di sini

Sekali lagi, saya dapat membuat skor perbedaan antara dan , menghasilkan . Saya kemudian dapat menghitung dua set ukuran efek pada skor perbedaan ini seperti di atas, menghitung perbedaan rata-rata standar untuk perbandingan antara dan (menghasilkan ) dan perbedaan rata-rata terstandarisasi untuk perbandingan antara dan (menghasilkan . Prosedur ini, tentu saja, juga akan menghasilkan varians dan kovariansi sampel yang sesuai. $var_1$ $var_2$ $diff$ $g_1$ $g_2$ $d_{diff_{g_1 - g_2}}$ $g_1$ $g_3$ $d_{diff_{g_1 - g_3}})$

Apa yang saya inginkan adalah untuk menyatakan ukuran efek, varians pengambilan sampel, dan kovarian sampel untuk dalam hal: $diff$

Ukuran efek , , , dan $d_{var1_{g_1 - g_2}}$ $d_{var1_{g_1 - g_3}}$ $d_{var2_{g_1 - g_2}}$ $d_{var2_{g_1 - g_3}}$
Varians sampel , , , dan , $v_{d_{var1_{g_1 - g_2}}}$ $v_{d_{var1_{g_1 - g_3}}}$ $v_{d_{var2_{g_1 - g_2}}}$ $v_{d_{var2_{g_1 - g_3}}}$
Sampel covariances dan , dan $cov(d_{var1_{g_1 - g_2}}, d_{var1_{g_1 - g_3}})$ $cov(d_{var2_{g_1 - g_2}}, d_{var2_{g_1 - g_3}})$
Korelasi $cor(var_1, var_2)$

Sekali lagi, saya merasa tujuan saya harus layak mengingat fakta bahwa adalah mungkin untuk menghitung standar deviasi skor perbedaan antara dan diberikan , , dan . $var_1$ $var_2$ $sd(var_1)$ $sd(var_2)$ $cor(var_1, var_2)$

Saya menyadari bahwa pertanyaan saya sedikit rumit, tetapi saya merasa mereka bisa dijawab dengan sedikit aljabar yang pintar. Beri tahu saya jika saya dapat mengklarifikasi pertanyaan dan / atau notasi saya dengan cara apa pun.

standard-error meta-analysis effect-size

— Patrick S. Forscher
sumber

Jawaban:

Saya pasti bisa memberi Anda jawaban untuk bagian pertama dari pertanyaan Anda.

Menggunakan notasi Anda, misalkan dan menunjukkan dua nilai d (dihitung untuk dua kelompok yang sama) berdasarkan pada dua variabel dependen yang berbeda dan biarkan dan menunjukkan variasi sampel yang sesuai, yang biasanya dihitung / diperkirakan dengan: dan mana dan adalah dua grup ukuran. $d_{var_1}$ $d_{var_2}$ $v_{var_1}$ $v_{var_2}$

v_{v a r_{1}} = \frac{1}{n_{1}} + \frac{1}{n_{2}} + \frac{d_{v a r_{1}}^{2}}{2 (n_{1} + n_{2})}

$v_{var_1} = \frac{1}{n_1} + \frac{1}{n_2} + \frac{d_{var_1}^2}{2(n_1 + n_2)}$

v_{v a r_{2}} = \frac{1}{n_{1}} + \frac{1}{n_{2}} + \frac{d_{v a r_{2}}^{2}}{2 (n_{1} + n_{2})},

$v_{var_2} = \frac{1}{n_1} + \frac{1}{n_2} + \frac{d_{var_2}^2}{2(n_1 + n_2)},$

n_{1}

$n_1$

n_{2}

$n_2$

Misalkan menunjukkan korelasi antara kedua variabel. Maka kovarians antara dua nilai d dapat diperkirakan dengan:Lihat persamaan (19.27) dalam bab tentang ukuran efek yang tergantung secara stokastik oleh Gleser dan Olkin (2009) dalam Buku Pegangan sintesis penelitian dan meta-analisis (2nd ed.). $r = cor(var_1, var_2)$

c o v (d_{v a r_{1}}, d_{v a r_{2}}) = (\frac{1}{n_{1}} + \frac{1}{n_{2}}) r + (\frac{d_{v a r_{1}} d_{v a r_{2}}}{2 (n_{1} + n_{2})}) r^{2} .

$cov(d_{var_1}, d_{var_2}) = \left(\frac{1}{n_1} + \frac{1}{n_2}\right)r + \left(\frac{d_{var_1}d_{var_2}}{2(n_1 + n_2)} \right)r^2.$

Oleh karena itu, varians pengambilan sampel dari dapat dihitung / diperkirakan dengan:

d_{d i f f} = d_{v a r_{1}} - d_{v a r_{2}}

$d_{diff} = d_{var_1} - d_{var_2}$

v_{d_{d i f f}} = v_{v a r_{1}} + v_{v a r_{2}} - 2 c o v (d_{v a r_{1}}, d_{v a r_{2}}) .

$v_{d_{diff}} = v_{var_1} + v_{var_2} - 2 cov(d_{var_1}, d_{var_2}).$

Bab oleh Gleser dan Olkin juga sebagian membahas pertanyaan kedua Anda. Pada dasarnya, Anda memiliki apa yang penulis sebut sebagai 'studi multi-pengobatan' dan mereka memberikan persamaan untuk kovarians dalam kasus itu juga (lihat Ekspektasi variabel berkorelasi ). Namun, kasus Anda sebenarnya merupakan kombinasi dari kasus 'multi-perawatan' dan 'multi-endpoint'. Mendapatkan persamaan kovarian yang diperlukan akan membutuhkan beberapa pekerjaan tambahan.

— Wolfgang
sumber

Apakah ini juga kasus bahwa hanyalah - , atau apakah kuantitas ini juga dipengaruhi oleh ?

d_{d i f f}

$d_{diff}$

d_{v a r_{1}}

$d_{var_1}$

d_{v a r_{2}}

$d_{var_2}$

c o r (v a r_{1}, v a r_{2})

$cor(var_1, var_2)$

— Patrick S. Forscher

Ya, ambil saja perbedaannya. Korelasi hanya relevan untuk menghitung varians pengambilan sampel dari .

d_{d i f f}

$d_{diff}$

— Wolfgang

Bagus! Apakah Anda, secara kebetulan, memiliki gagasan tentang pendekatan apa yang mungkin saya ambil untuk menyelesaikan pertanyaan kedua saya? Saya tahu dari Gleser dan Olkin bahwa kovarians antara dan adalah , tetapi bagi saya tidak jelas bagaimana cara menggunakan informasi ini untuk mendapatkan kovarians antara dua ukuran efek untuk .

d_{g_{1} - g_{2}}

$d_{g_1 - g_2}$

d_{g_{1} - g_{3}}

$d_{g_1 - g_3}$

1 / n_{g_{1}} + (d_{g_{1} - g_{2}} * d_{g_{1} - g_{3}}) / (2 * (n_{g_{1}} + n_{g_{2}} + n_{g_{3}}))

$1/n_{g_1} + (d_{g_1 - g_2} * d_{g_1 - g_3}) / (2 * (n_{g_1} + n_{g_2} + n_{g_3}))$

d_{d i f f}

$d_{diff}$

— Patrick S. Forscher

Jika Anda tidak tahu solusi lengkapnya, saya akan senang memiliki gagasan umum tentang bagaimana saya akan menyelidiki masalah ini.

— Patrick S. Forscher

Anda harus kembali ke derivasi dari kovarian tersebut dan melihat apakah Anda dapat menggeneralisasi / menggabungkan dua kasus (beberapa grup dan beberapa titik akhir). Sebuah sketsa singkat tentang bagaimana kovarians untuk kasus endpoint berganda dapat ditemukan dalam lampiran Rosenthal dan Rubin (1986) . Saya tidak tahu referensi yang mencakup beberapa kasus grup.

— Wolfgang

Pertanyaan ini dapat dijawab dengan menggunakan pendekatan pemodelan persamaan struktural (SEM). Ini dapat digunakan selama ukuran efek adalah fungsi dari parameter, seperti rata-rata, korelasi, dan standar deviasi. Matriks kovarian sampel diambil secara numerik dengan menggunakan metode Delta secara otomatis dalam SEM. Bab 3 Cheung (2015) memberikan pengantar dan contoh dalam pendekatan ini.

Salah satu contoh yang digunakan dalam buku ini adalah pengobatan multi-endpoint studi multi. Berikut adalah sintaks dan output dalam R.

###################################################
### code chunk number 8: ME_MT
###################################################

## Load the library for SEM
library(lavaan)

## Covariance matrix of the control group for variables 1 and 2
lower <- '11          
          5, 10'
## Convert a lower triangle data into a covariance matrix
Cov1 <- getCov(lower, diag=TRUE, names=c("x1", "x2"))

## Covariance matrix of the treatment group 1 for variables 1 and 2
lower <- '12          
          6, 11'
Cov2 <- getCov(lower, diag=TRUE, names=c("x1", "x2"))

## Covariance matrix of the treatment group 2 for variables 1 and 2
lower <- '13          
          7, 12'
Cov3 <- getCov(lower, diag=TRUE, names=c("x1", "x2"))

## Convert covariance matrices into a list
Cov <- list(Cov1, Cov2, Cov3)

## Means for the three groups
## 10 and 11 are the means for variables 1 and 2
Mean <- list(c(10,11), c(12,13), c(13,14))

## Sample sizes for the groups
N <- c(50, 50, 50)

## Assuming homogeneity of covariance matrices
## You can free this constraint by using different labels
model5 <- 'eta1 =~ c("sd1", "sd1", "sd1")*x1
           eta2 =~ c("sd2", "sd2", "sd2")*x2
           eta1 ~~ c("r", "r", "r")*eta2
           ## The subscripts 0, 1 and 2 represent the means
           ##  of the control and two  treatment groups
           x1 ~ c("m1_0", "m1_1", "m1_2")*1
           x2 ~ c("m2_0", "m2_1", "m2_2")*1
           ## The measurement errors are fixed at 0
           x1 ~~ 0*x1
           x2 ~~ 0*x2
           ## Multiple endpoint effect size 1 for treatment group 1
           ES1_1 := (m1_1 - m1_0)/sd1
           ## Multiple endpoint effect size 2 for treatment group 1
           ES2_1 := (m2_1 - m2_0)/sd2
           ## Multiple endpoint effect size 1 for treatment group 2
           ES1_2 := (m1_2 - m1_0)/sd1
           ## Multiple endpoint effect size 2 for treatment group 2
           ES2_2 := (m2_2 - m2_0)/sd2'

fit5 <- sem(model5, sample.cov=Cov, sample.mean=Mean, 
            sample.nobs=N, std.lv=TRUE, 
            sample.cov.rescale=FALSE)

## Obtain the free parameters in the model
( x <- fit5@Fit@x )

## [1]  3.464102  3.316625  0.522233 10.000000 11.000000 12.000000 13.000000
## [8] 13.000000 14.000000    

## Obtain the sampling covariance matrix of the parameter estimates
VCOV <- vcov(fit5)

## Compute the multivariate effect sizes
( ES <- fit5@Model@def.function(x=x) )
##     ES1_1     ES2_1     ES1_2     ES2_2 
## 0.5773503 0.6030227 0.8660254 0.9045340

## Compute the jacobian for 'defined parameters'
JAC <- lavaan:::lavJacobianD(func=fit5@Model@def.function, x=x)

## Compute the sampling covariance matrix using delta method
ES.VCOV <- JAC %*% VCOV %*% t(JAC)

## Add the variable names for ease of reference
dimnames(ES.VCOV) <- list(names(ES), names(ES))

ES.VCOV
##            ES1_1      ES2_1      ES1_2      ES2_2
## ES1_1 0.04111111 0.02120582 0.02166667 0.01091942
## ES2_1 0.02120582 0.04121212 0.01091942 0.02181818
## ES1_2 0.02166667 0.01091942 0.04250000 0.02160145
## ES2_2 0.01091942 0.02181818 0.02160145 0.04272727

Dalam contoh ini, estimasi vektor ukuran efek adalah matriks kovarians sampling masing-masing adalah ES dan ES.VCOV. ES1_1 dan ES2_1 adalah ukuran efek untuk grup 1 membandingkan terhadap kelompok kontrol, sementara ES1_2 dan ES2_2 adalah ukuran efek grup 2 membandingkan terhadap kelompok kontrol.

Referensi

Cheung, MW-L. (2015). Meta-analisis: Pendekatan pemodelan persamaan struktural . Chichester, Sussex Barat: John Wiley & Sons, Inc.

— Mike Cheung
sumber

Terima kasih telah berbagi pendekatan yang menarik ini! Ketika saya mencoba menjalankan baris berikut: ( ES <- fit5@Model@def.function(x=x) )dan JAC <- lavaan:::lavJacobianD(func=fit5@Model@def.function, x=x)saya mendapat kesalahan yang xtidak ada.

— Patrick S. Forscher

Juga, contoh Anda tampaknya menunjukkan bahwa, untuk pendekatan ini untuk bekerja, saya perlu untuk mengetahui hubungan / kovarians antara var1dan var2di dalam g1, g2, dan g3. Apakah ini masalahnya? Biasanya dalam studi saya bekerja dengan, hanya korelasi secara keseluruhan (runtuh di g1, g2, dan g3) dilaporkan.

— Patrick S. Forscher

Akhirnya, apakah pendekatan ini bekerja dalam kasus dua kelompok di mana saya tidak tahu cara dan standar deviasi untuk

v a r_{1}

$var_1$ dan

v a r_{2}

$var_2$ , tetapi saya dapat langsung mengekstrak ukuran efek

d_{v a r_{1}}

$d_{var_1}$ dan

d_{v a r_{2}}

$d_{var_2}$ dari, misalnya, uji-t yang dilaporkan dalam makalah yang dimaksud?

— Patrick S. Forscher

Terima kasih, Patrick. Saya telah menambahkan baris yang hilang: (x <- fit5 @ Fit @ x). Karena ukuran efek adalah fungsi rata-rata, varian, dan kovarian, pendekatan ini membutuhkan elemen-elemen ini. Jika beberapa elemen ini tidak tersedia, Anda mungkin perlu mencari pendekatan lain ...

— Mike Cheung

Halo Mike, saya harap Anda masih mengikuti utas ini. Saya tertarik dengan pendekatan Anda, jadi saya mencoba mensimulasikan beberapa data tiga kelompok dengan dua variabel (kode yang ditempel di komentar di bawah). Ketika saya membandingkan pendekatan Anda dengan beberapa perhitungan manual, saya memperoleh ukuran efek yang sama tetapi kesalahan pengambilan sampel berbeda dari ukuran efek. Sejauh yang saya tahu, saya menggunakan kode Anda dan formula yang benar untuk varian sampel. Adakah yang tahu apa yang terjadi?

— Patrick S. Forscher

Saya tidak sepenuhnya yakin bagaimana solusi ini diturunkan, tetapi saya pikir saya tetap akan mempostingnya sehingga orang lain dapat mengevaluasinya. Saya juga berpikir bahwa informasi ini layak dikirim sebagai jawaban lengkap daripada membiarkannya terkubur dalam komentar dari jawaban yang diberikan oleh @Wolfgang.

Menurut tanggapan yang diberikan Ian White dalam korespondensi dengan saya, diberikan kelompok $g_1$ , $g_2$ , dan $g_3$ , dan dengan asumsi bahwa standar deviasi yang digunakan untuk menghitung ukuran efek seseorang digabungkan $g_1$ , $g_2$ , dan $g_3$ ,

c o v (d_{d i f f_{g_{1} - g_{2}}}, d_{d i f f_{g_{1} - g_{3}}}) = \frac{r}{n_{1}} + \frac{d_{d i f f_{g_{1} - g_{2}}} * d_{d i f f_{g_{1} - g_{3}}} * r^{2}}{(2 * (n_{1} + n_{2} + n_{3}))}

$cov(d_{diff_{g_1 - g_2}}, d_{diff_{g_1 - g_3}}) = \frac{r}{n_1} + \frac{d_{diff_{g_1 - g_2}} * d_{diff_{g_1 - g_3}} * r^2}{(2 * (n_1 + n_2 + n_3))}$

Sekali lagi, saya tidak sepenuhnya yakin bagaimana solusi ini diturunkan, dan saya akan berterima kasih atas wawasan yang dapat diberikan orang lain.

— Patrick S. Forscher
sumber