Nilai kuadrat R yang sangat besar dalam regresi meta (metafor)

Saya menggunakan paket metafor di R. Saya telah cocok dengan model efek acak dengan prediktor kontinu sebagai berikut

SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE)

Yang menghasilkan output:

R^2 (amount of heterogeneity accounted for):            63.62%
Test of Moderators (coefficient(s) 2): 
QM(df = 1) = 9.3255, p-val = 0.0023

Model Results:

                 se    zval    pval   ci.lb   ci.ub    
intrcpt  0.3266  0.1030  3.1721  0.0015  0.1248  0.5285  **
SIZE     0.0481  0.0157  3.0538  0.0023  0.0172  0.0790  **

Di bawah ini saya telah merencanakan regresi. Ukuran efek diplot secara proporsional dengan kebalikan dari kesalahan standar. Saya menyadari bahwa ini adalah pernyataan subyektif, tetapi nilai R2 (63% dijelaskan) nampaknya jauh lebih besar daripada yang tercermin oleh hubungan sederhana yang ditunjukkan dalam plot (bahkan dengan mempertimbangkan bobot).

masukkan deskripsi gambar di sini

Untuk menunjukkan kepada Anda apa yang saya maksud, Jika saya kemudian lakukan regresi yang sama dengan fungsi lm (menentukan bobot studi dengan cara yang sama):

lmod=lm(Ds~SIZE,weights=1/SE,data=VPPOOLed)

Kemudian R2 turun menjadi varian 28% dijelaskan. Ini tampaknya lebih dekat dengan keadaan (atau setidaknya, kesan saya tentang apa yang harus sesuai dengan plot R2).

Saya menyadari, setelah membaca artikel ini (termasuk bagian meta-regresi): ( http://www.metafor-project.org/doku.php/tips:rma_vs_lm_and_lme ), bahwa perbedaan dalam cara fungsi lm dan rma berlaku bobot dapat mempengaruhi koefisien model. Namun, masih belum jelas bagi saya mengapa nilai R2 jauh lebih besar dalam kasus meta-regresi. Mengapa model yang terlihat memiliki akun fit sederhana untuk lebih dari setengah heterogenitas dalam efek?

Apakah nilai R2 lebih besar karena variansnya dipartisi secara berbeda dalam kasus analitik meta? (variabilitas pengambilan sampel v sumber lain) Secara khusus, apakah R2 mencerminkan persentase heterogenitas yang diperhitungkan dalam bagian yang tidak dapat dikaitkan dengan variabilitas sampel ? Mungkin ada perbedaan antara "varians" dalam regresi non-meta-analitik dan "heterogenitas" dalam regresi meta-analitik yang tidak saya hargai.

Saya takut pernyataan subjektif seperti "Kelihatannya tidak benar" yang harus saya lakukan di sini. Setiap bantuan dengan menafsirkan R2 dalam kasus meta-regresi akan sangat dihargai.

r meta-analysis meta-regression

— pengguna21879
sumber

Saya memahami kekhawatiran Anda, tetapi saya pikir akan logis untuk memiliki R2 yang lebih tinggi setelah pembobotan ketika benar-benar ada hubungan antara ukuran efek (ES) dan ukuran Anda.

— Emilie

Nilai pseudo- yang dilaporkan dihitung dengan: mana adalah jumlah (total) jumlah heterogenitas yang diperkirakan berdasarkan pada model efek-acak dan adalah jumlah heterogenitas (residual) yang diperkirakan berdasarkan pada model meta-regresi efek-campuran. Perhatikan bahwa ini bukan sesuatu yang spesifik untuk paket - ini adalah bagaimana nilai ini biasanya dihitung dalam model meta-regresi efek campuran. $R^2$

R^{2} = \frac{{\hat{τ}}_{R E}^{2} - {\hat{τ}}_{M. E}^{2}}{{\hat{τ}}_{R E}^{2}},

$R^2 = \frac{\hat{\tau}^2_{RE} - \hat{\tau}^2_{ME}}{\hat{\tau}^2_{RE}},$

{\hat{τ}}_{R E}^{2}

$\hat{\tau}^2_{RE}$

{\hat{τ}}_{M E}^{2}

$\hat{\tau}^2_{ME}$ metafor

Nilai ini memperkirakan jumlah heterogenitas yang diperhitungkan oleh moderator / kovariat yang termasuk dalam model meta-regresi (yaitu, itu adalah pengurangan proporsional dalam jumlah heterogenitas setelah memasukkan moderator / kovariat dalam model). Perhatikan bahwa itu tidak melibatkan variabilitas pengambilan sampel sama sekali. Oleh karena itu, sangat mungkin untuk mendapatkan nilai sangat besar , bahkan ketika masih ada perbedaan antara garis regresi dan ukuran efek yang diamati (ketika perbedaan tersebut tidak jauh lebih besar dari apa yang diharapkan berdasarkan pada variabilitas sampel saja). Bahkan, ketika (yang pasti bisa terjadi), maka $R^2$ $\hat{\tau}^2_{ME} = 0$ $R^2 = 1$ - tetapi ini tidak menyiratkan bahwa semua poin jatuh pada garis regresi (residu hanya tidak lebih besar dari yang diharapkan berdasarkan variabilitas pengambilan sampel).

Bagaimanapun, penting untuk menyadari bahwa statistik pseudo- ini tidak terlalu dapat dipercaya kecuali jika jumlah penelitiannya besar. Lihat, misalnya, artikel ini: $R^2$

López-López, JA, Marín-Martínez, F., Sánchez-Meca, J., Van den Noortgate, W., & Viechtbauer, W. (2014). Estimasi kekuatan prediktif model dalam efek-campuran meta-regresi: Sebuah studi simulasi. British Journal of Matematika dan Statistik Psikologi, 67 (1), 30-48.

Intinya, saya tidak akan terlalu percaya pada nilai sebenarnya kecuali Anda memiliki setidaknya 30 studi (tapi jangan mengutip saya persis pada angka itu). Untuk latihan yang bagus, Anda bisa menggunakan bootstrap untuk mendapatkan perkiraan CI untuk . Cukup banyak yang perlu Anda ketahui untuk melakukan ini dijelaskan di sini: $R^2$

http://www.metafor-project.org/doku.php/tips:bootstrapping_with_ma

Ubah saja nilai yang dikembalikan oleh boot.func()fungsi ke res$R2(dan karena tidak ada estimasi varians untuk , Anda tidak bisa mendapatkan interval pelajar). Dalam kasus Anda, Anda mungkin akan berakhir dengan CI yang sangat luas (mungkin meluas dari 0 hingga 100%). $R^2$

— Wolfgang
sumber

Bagus. Terima kasih, itu masuk akal. Saya sampel ulang kerangka data dengan penggantian dan menemukan bahwa 95% CI adalah antara 4 dan 100% perbedaan dijelaskan. Saya kira meyakinkan (tapi tidak terlalu menarik) bahwa CI tidak termasuk nol. Ini adalah dosis realitas yang berguna untuk melihat seberapa kecil presisi yang kita miliki ketika sampel kecil ...........

— user21879