Bagaimana model efek campuran harus dibandingkan dan atau divalidasi?

Bagaimana model efek campuran (linier) secara normal dibandingkan satu sama lain? Saya tahu tes rasio kemungkinan dapat digunakan, tetapi ini tidak berhasil jika satu model bukan 'bagian' dari yang lain yang benar?

Apakah estimasi model selalu mudah? Jumlah efek tetap + jumlah komponen varian diperkirakan? Apakah kita mengabaikan perkiraan efek acak?

Bagaimana dengan validasi? Pikiran pertama saya adalah validasi silang, tetapi lipatan acak mungkin tidak berfungsi mengingat struktur data. Apakah metodologi 'tinggalkan satu subjek / klaster keluar' sesuai? Bagaimana dengan meninggalkan satu pengamatan?

Mallows Cp dapat diartikan sebagai perkiraan kesalahan prediksi model. Pemilihan model melalui AIC mencoba untuk meminimalkan kesalahan prediksi (Jadi Cp dan AIC harus memilih model yang sama jika kesalahannya adalah Gaussian, saya percaya). Apakah ini berarti AIC atau Cp dapat digunakan untuk memilih model efek campuran linier 'optimal' dari koleksi beberapa model yang tidak bersarang dalam hal kesalahan prediksi? (asalkan mereka cocok dengan data yang sama) Apakah BIC masih cenderung memilih model 'benar' di antara para kandidat?

Saya juga mendapat kesan bahwa ketika membandingkan model efek campuran melalui AIC atau BIC kita hanya menghitung efek tetap sebagai 'parameter' dalam perhitungan, bukan model aktual df.

Apakah ada literatur yang bagus tentang topik ini? Apakah ada baiknya menyelidiki cAIC atau mAIC? Apakah mereka memiliki aplikasi khusus di luar AIC?

Masalah utama pada pemilihan model dalam model campuran adalah untuk menentukan derajat kebebasan (df) model, benar-benar. Untuk menghitung df dari model campuran, kita harus mendefinisikan jumlah parameter yang diestimasi termasuk efek tetap dan acak. Dan ini tidak langsung. Makalah ini oleh Jiming Jiang dan lain-lain (2008) berjudul "Metode pagar untuk pemilihan model campuran" dapat diterapkan dalam situasi seperti itu. Sebuah karya yang terkait baru ini salah satu oleh Greven, S. & Kneib, T. (2010) yang berjudul "Pada perilaku marginal dan kondisional AIC dalam model campuran linear". Semoga ini bisa membantu.

Salah satu cara untuk membandingkan model (apakah dicampur atau tidak) adalah dengan plot hasilnya. Misalkan Anda memiliki model A dan model B; menghasilkan nilai-nilai yang dipasang dari masing-masing dan grafik mereka terhadap satu sama lain dalam sebaran plot. Jika nilainya sangat mirip (dengan menggunakan penilaian Anda, apakah itu benar) pilih model yang lebih sederhana. Gagasan lain adalah menemukan perbedaan antara nilai yang dipasang dan membuat grafik ini terhadap nilai-nilai independen; Anda juga dapat membuat plot kepadatan perbedaan. Secara umum, saya seorang pendukung tidak menggunakan tes statistik untuk membandingkan model (meskipun AIC dan variannya tentu memiliki kebajikan) tetapi menggunakan penilaian. Tentu saja, ini memiliki keuntungan karena tidak memberikan jawaban yang tepat.