Membandingkan model efek campuran dengan jumlah derajat kebebasan yang sama

Saya memiliki percobaan yang akan saya coba abstraksi di sini. Bayangkan saya melemparkan tiga batu putih di depan Anda dan meminta Anda untuk menilai posisi mereka. Saya mencatat berbagai sifat batu dan respons Anda. Saya melakukan ini pada sejumlah mata pelajaran. Saya menghasilkan dua model. Satu adalah bahwa batu terdekat Anda memprediksi respons Anda, dan yang lainnya adalah bahwa pusat geometri batu memprediksi respons Anda. Jadi, menggunakan lmer di RI bisa menulis.

mNear   <- lmer(resp ~ nearest + (1|subject), REML = FALSE)
mCenter <- lmer(resp ~ center  + (1|subject), REML = FALSE)

PEMBARUAN DAN PERUBAHAN - versi lebih langsung yang menggabungkan beberapa komentar bermanfaat

aku bisa mencoba

anova(mNear, mCenter)

Yang salah, tentu saja, karena mereka tidak bersarang dan saya tidak bisa benar-benar membandingkannya seperti itu. Saya mengharapkan anova.mer untuk melakukan kesalahan tetapi ternyata tidak. Tetapi kemungkinan bersarang yang bisa saya coba di sini tidak alami dan masih membuat saya dengan pernyataan yang kurang analitis. Ketika model bersarang secara alami (misalnya kuadrat pada linier) tes hanya satu arah. Tetapi dalam hal ini apa artinya memiliki temuan asimetris?

Misalnya, saya bisa membuat model tiga:

mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE)

Lalu aku bisa anova.

anova(mCenter, mBoth)
anova(mNearest, mBoth)

Ini adil untuk dilakukan dan sekarang saya menemukan bahwa pusat menambah efek terdekat (perintah kedua) tetapi BIC benar-benar naik ketika terdekat ditambahkan ke pusat (koreksi untuk kekikiran rendah). Ini mengkonfirmasi apa yang dicurigai.

Tetapi apakah menemukan ini cukup? Dan apakah ini adil ketika pusat dan terdekat sangat berkorelasi?

Apakah ada cara yang lebih baik untuk membandingkan model secara analitis ketika ini bukan tentang menambah dan mengurangi variabel penjelas (derajat kebebasan)?

Namun, Anda dapat menghitung interval kepercayaan untuk efek tetap Anda, dan melaporkan AIC atau BIC (lihat misalnya Cnann et al. , Stat Med 1997 16: 2349).

Sekarang, Anda mungkin tertarik untuk melihat Menilai model mimikri menggunakan bootstrap parametrik , dari Wagenmakers et al. yang tampaknya lebih mirip pertanyaan awal Anda tentang menilai kualitas dua model yang bersaing.

Jika tidak, dua makalah tentang ukuran varian yang dijelaskan dalam LMM yang muncul di pikiran saya adalah:

• Lloyd J. Edwards, Keith E. Muller, Russell D. Wolfinger, Bahjat F. Qaqish dan Oliver Schabenberger (2008). Statistik R2 untuk efek tetap dalam model linier campuran , Statistics in Medicine , 27 (29), 6137-6157.
• Ronghui Xu (2003). Mengukur variasi menjelaskan dalam model efek campuran linear, Statistics in Medicine , 22 (22), 3527-3541.

Tapi mungkin ada opsi yang lebih baik.

Mengikuti saran ronaf mengarah ke makalah yang lebih baru oleh Vuong untuk Uji Rasio Kemungkinan pada model yang tidak bersarang. Ini didasarkan pada KLIC (Kullback-Leibler Information Criterion) yang mirip dengan AIC karena meminimalkan jarak KL. Tapi itu menetapkan spesifikasi probabilistik untuk hipotesis sehingga penggunaan LRT mengarah ke perbandingan yang lebih berprinsip. Versi yang lebih mudah diakses dari tes Cox dan Vuong disajikan oleh Clarke et al; khususnya, lihat Gambar 3 yang menyajikan algoritme untuk menghitung uji LRT Vuong.

• Uji Rasio Kemungkinan untuk Seleksi Model dan Hipotesis Tidak Bersarang (Vuong, 1999)
• Menguji Model-model Hubungan Internasional yang Tidak Terikat: Mengevaluasi Kembali Realisme (Clarke et al, 2000)

Tampaknya ada implementasi R dari tes Vuong di model lain, tetapi tidak lemah. Namun, garis besar yang disebutkan di atas harus cukup untuk menerapkannya. Saya tidak berpikir Anda bisa mendapatkan kemungkinan dievaluasi pada setiap titik data dari LER seperti yang diperlukan untuk perhitungan. Dalam catatan tentang sig-ME, Douglas Bates memiliki beberapa petunjuk yang mungkin bisa membantu (khususnya, sketsa yang ia sebutkan).

Lebih tua

Pilihan lain adalah mempertimbangkan nilai-nilai yang dipasang dari model dalam uji akurasi prediksi. Statistik Williams-Kloot mungkin sesuai di sini. Pendekatan dasar adalah untuk regresi nilai aktual terhadap kombinasi linier dari nilai yang dipasang dari dua model dan menguji kemiringan:

• Tes untuk Diskriminasi Antar Model (Atikinson, 1969)
• Pertumbuhan dan Negara Kesejahteraan di UE: Analisis Kausalitas (Herce et al, 2001)

Makalah pertama menjelaskan tes (dan lain-lain), sedangkan yang kedua memiliki aplikasi dalam model panel ekonometrik.

Saat menggunakan lmerdan membandingkan AIC, fungsi default adalah menggunakan metode REML (Kemungkinan Maksimum Terbatas). Ini bagus untuk mendapatkan estimasi yang kurang bias, tetapi ketika membandingkan model, Anda harus menyesuaikan kembali dengan REML=FALSEyang menggunakan metode Kemungkinan Maksimum untuk pemasangan. Buku Pinheiro / Bates menyebutkan beberapa kondisi di mana tidak apa-apa untuk membandingkan AIC / Kemungkinan dengan REML atau ML, dan ini sangat mungkin berlaku dalam kasus Anda. Namun, rekomendasi umum adalah cukup pasang kembali. Misalnya, lihat posting Douglas Bates di sini:

• Bagaimana saya bisa mengekstrak skor AIC dari objek model campuran yang diproduksi menggunakan lmer?

ada kertas oleh drcox yang membahas pengujian model-model terpisah [yang tidak diuji]. itu mempertimbangkan beberapa contoh, yang tidak menimbulkan kompleksitas model campuran. [karena fasilitas saya dengan kode R terbatas, saya tidak yakin apa model Anda.]

walaupun kertas cth mungkin tidak memecahkan masalah Anda secara langsung, mungkin bermanfaat dalam dua cara yang mungkin.

1. Anda dapat mencari kutipan untuk makalahnya di google scholar, untuk melihat apakah hasil selanjutnya mendekati apa yang Anda inginkan.

2. jika Anda memiliki kecenderungan analitis, Anda dapat mencoba menerapkan metode cox untuk masalah Anda. [Mungkin bukan untuk orang yang lemah hati.]

btw - cox tidak menyebutkan secara sepintas gagasan srikant tentang menggabungkan dua model menjadi yang lebih besar. dia tidak mengejar bagaimana seseorang akan memutuskan model mana yang lebih baik, tetapi dia berkomentar bahwa meskipun tidak ada model yang sangat baik, model gabungan mungkin memberikan kecocokan yang memadai untuk data. [Tidak jelas dalam situasi Anda bahwa model gabungan akan masuk akal.]

Saya tidak tahu R cukup baik untuk mengurai kode Anda tetapi di sini ada satu ide:

Perkirakan model di mana Anda memiliki pusat dan dekat sebagai kovariat (sebut mBoth ini). Kemudian mCenter dan mNear bersarang di mBoth dan Anda bisa menggunakan mBoth sebagai patokan untuk membandingkan kinerja relatif mCenter dan mNear.