Dapatkah AIC membandingkan berbagai jenis model?

Saya menggunakan AIC (Kriteria Informasi Akaike) untuk membandingkan model non-linear dalam R. Apakah valid untuk membandingkan AIC dari berbagai jenis model? Secara khusus, saya membandingkan model yang dipasang oleh glm versus model dengan istilah efek acak yang dipasang oleh glmer (lme4).

Jika tidak, adakah cara perbandingan seperti itu dapat dilakukan? Atau apakah gagasan itu sepenuhnya tidak valid?

lme4-nlme model-selection aic

— Thomas K
sumber

Jawaban:

Tergantung. AIC adalah fungsi dari kemungkinan log. Jika kedua jenis model menghitung kemungkinan log dengan cara yang sama (yaitu termasuk konstanta yang sama) maka ya Anda bisa, jika model bersarang .

Saya cukup yakin itu glm()dan lmer()tidak menggunakan kemungkinan log yang sebanding.

Poin tentang model bersarang juga untuk diskusi. Beberapa mengatakan AIC hanya valid untuk model bersarang karena itulah bagaimana teori disajikan / dikerjakan. Yang lain menggunakannya untuk semua jenis perbandingan.

— Pasang kembali Monica - G. Simpson
sumber

Pemahaman saya adalah bahwa lme4, secara default menggunakan REML di mana glm menggunakan ML. Mereka mungkin sebanding jika Anda membuat sedikit menggunakan ML dengan mengatur REML = FALSE.

— russellpierce

Selain komentar Gavin Anda, itu juga tergantung apa yang ingin Anda lakukan dengan model tersebut. Apakah model untuk prediksi atau Thomas mencari kekikiran? (Saya pikir)

— suncoolsu

@drnexus: Saya rasa itu tidak cukup; Anda harus yakin bahwa konstanta normalisasi yang sama sedang diterapkan dalam perhitungan kemungkinan log.

— Pasang kembali Monica - G. Simpson

@ Thomas: untuk itu Anda harus melihat kode atau berbicara dengan orang yang menulisnya untuk memastikan. Secara umum, anggap kemungkinan tidak sebanding dengan berbagai perangkat lunak / paket / fungsi.

— Pasang kembali Monica - G. Simpson

@ user3490 Bergantung pada perangkat lunak dan algoritma yang digunakan untuk mendapatkan perkiraan. Secara umum saya akan menganggap mereka tidak sama kecuali saya tahu pasti bahwa mereka sama.

— Pasang kembali Monica - G. Simpson

Ini adalah pertanyaan bagus yang saya ingin tahu untuk sementara waktu.

Untuk model dalam keluarga yang sama (mis. Model re-order otomatis k atau polinomial) AIC / BIC sangat masuk akal. Dalam kasus lain, itu kurang jelas. Menghitung log-likelihood dengan tepat (dengan syarat konstan) harus berfungsi, tetapi menggunakan perbandingan model yang lebih rumit seperti Bayes Factors mungkin lebih baik (http://www.jstor.org/stable/2291091).

Jika model memiliki fungsi kerugian / kesalahan yang sama, salah satu alternatifnya adalah hanya membandingkan log-likelihood yang divalidasi silang. Biasanya itu yang saya coba lakukan ketika saya tidak yakin AIC / BIC masuk akal dalam situasi tertentu.

— Ian
sumber

Perhatikan bahwa dalam beberapa kasus AIC bahkan tidak dapat membandingkan model dari jenis yang sama, seperti model ARIMA dengan urutan perbedaan yang berbeda. Mengutip Peramalan: Prinsip dan Praktek oleh Rob J Hyndman dan George Athanasopoulos:

Penting untuk dicatat bahwa kriteria informasi ini cenderung tidak menjadi panduan yang baik untuk memilih urutan perbedaan yang tepat ( ) dari suatu model, tetapi hanya untuk memilih nilai dan . Ini karena perbedaan mengubah data di mana kemungkinan dihitung, membuat nilai AIC antara model dengan urutan perbedaan yang berbeda tidak dapat dibandingkan. Jadi kita perlu menggunakan beberapa pendekatan lain untuk memilih , dan kemudian kita dapat menggunakan AICc untuk memilih dan . $d$ $p$ $q$ $d$ $p$ $q$

— nalzok
sumber

Memang, tetapi poin penting adalah bahwa bukan jenis model yang membuat perbandingan bermasalah, itu adalah data di mana kemungkinan didefinisikan.

— Richard Hardy