Pedoman AIC dalam pemilihan model

Saya biasanya menggunakan BIC karena pemahaman saya adalah bahwa nilai-nilai parsimony lebih kuat daripada AIC. Namun, saya telah memutuskan untuk menggunakan pendekatan yang lebih komprehensif sekarang dan ingin menggunakan AIC juga. Saya tahu bahwa Raftery (1995) menyajikan pedoman yang bagus untuk perbedaan BIC: 0-2 lemah, 2-4 adalah bukti positif untuk satu model menjadi lebih baik, dll.

Saya mencari di buku teks dan mereka tampak aneh di AIC (sepertinya perbedaan yang lebih besar lemah dan perbedaan yang lebih kecil di AIC berarti satu model lebih baik). Ini bertentangan dengan apa yang saya tahu saya telah diajarkan. Pemahaman saya adalah bahwa Anda ingin AIC lebih rendah.

Apakah ada yang tahu apakah pedoman Raftery juga mencakup AIC, atau di mana saya dapat mengutip beberapa pedoman untuk "kekuatan bukti" untuk satu model vs yang lain?

Dan ya, cutoff tidak bagus (saya agak menjengkelkan) tetapi mereka sangat membantu ketika membandingkan berbagai jenis bukti.

AIC dan BIC memiliki interpretasi yang sama dalam hal perbandingan model. Artinya, perbedaan yang lebih besar dalam AIC atau BIC menunjukkan bukti kuat untuk satu model di atas yang lain (semakin rendah semakin baik). Hanya saja AIC tidak menghukum jumlah parameter sekuat BIC. Ada juga koreksi terhadap AIC (AICc) yang digunakan untuk ukuran sampel yang lebih kecil. Informasi lebih lanjut tentang perbandingan AIC / BIC dapat ditemukan di sini .

$AIC_1$$AIC_2$$AIC_1< AIC_2$
$(1, 2, ..., n)$$\Delta_i= AIC_i- AIC_{min}$$AIC_i$$i$$AIC_{min}$$\Delta_i >10$$\Delta_i$$\Delta_i\equiv\Delta_{min}\equiv0.$

Saya biasanya tidak pernah menggunakan AIC atau BIC secara objektif untuk menggambarkan kecocokan yang memadai untuk model. Saya tidak menggunakan IC ini untuk membandingkan fit relatif dari dua model prediktif. Sejauh menyangkut AIC "2" atau "4", itu sepenuhnya kontekstual. Jika Anda ingin mengetahui bagaimana model "baik" cocok, Anda dapat (harus) selalu menggunakan simulasi. Pemahaman Anda tentang AIC benar. AIC menerima kontribusi positif dari parameter dan kontribusi negatif dari kemungkinan. Apa yang Anda coba lakukan adalah memaksimalkan kemungkinan tanpa memuat model Anda dengan banyak parameter. Jadi, pendapat saya yang meledak adalah bahwa cut off untuk AIC tidak bagus di luar konteks.

Berikut adalah pertanyaan terkait kapan-apakah-layak-untuk-pilih-model-dengan-meminimalkan-the-aic? . Ini memberi Anda gambaran umum tentang apa yang dianggap tidak pantas oleh orang-orang di dunia akademis untuk ditulis dan referensi apa yang dianggap penting.

Secara umum, perbedaan antara kemungkinan atau AIC yang penting, bukan nilai absolutnya. Anda telah melewatkan kata "perbedaan" yang penting dalam "BIC: 0-2 Anda lemah" dalam pertanyaan - lihat tabel TABEL 6 Raftery - dan aneh bahwa tidak ada yang ingin memperbaikinya.

Saya sendiri telah diajarkan untuk mencari MAICE (Perkiraan AIC Minimum - sebagaimana Akaike menyebutnya). Terus? Inilah yang ditulis oleh satu orang terkenal kepada seorang wanita tak dikenal:

Dear Miss -- 
I have read about sixteen pages of your manuscript ... I suffered exactly the same 
treatment at the hands of my teachers who disliked me for my independence and passed 
over me when they wanted assistants ... keep your manuscript for your sons and
daughters, in order that they may derive consolation from it and not give a damn for
what their teachers tell them or think of them. ... There is too much education
altogether.

Guru saya tidak pernah mendengar makalah dengan judul seperti "Tes apakah dua AIC berbeda secara signifikan" dan saya bahkan tidak ingat mereka pernah menyebut AIC statistik, yang akan memiliki distribusi sampel dan properti lainnya. Saya diajari AIC adalah kriteria yang harus diminimalkan, jika mungkin dalam beberapa mode otomatis.

Namun masalah penting lainnya, yang saya pikir telah diungkapkan di sini beberapa tahun yang lalu oleh IrishStat (dari ingatan jadi permintaan maaf jika saya salah karena saya gagal menemukan jawaban itu) adalah bahwa AIC, BIC dan kriteria lain telah diturunkan untuk tujuan yang berbeda dan dalam kondisi yang berbeda (asumsi) sehingga Anda sering tidak dapat menggunakannya secara bergantian jika tujuan Anda meramalkan, katakanlah. Anda tidak bisa hanya menyukai sesuatu yang tidak pantas.

Sumber saya menunjukkan bahwa saya menggunakan kutipan untuk Burnham dan Anderson (2002, p.70) untuk menulis bahwa delta (perbedaan AIC) dalam 0-2 memiliki dukungan substansial; delta dalam 4-7 jauh lebih sedikit dukungan dan delta lebih besar dari 10 pada dasarnya tidak ada dukungan. Juga, saya menulis bahwa "penulis juga membahas kondisi di mana pedoman ini mungkin berguna". Buku ini dikutip dalam jawaban oleh Stat, yang saya pilih paling relevan.

Berkenaan dengan kriteria informasi, inilah yang dikatakan SAS :

"Perhatikan bahwa kriteria informasi seperti Akaike (AIC), Schwarz's (SC, BIC), dan QIC dapat digunakan untuk membandingkan model yang tidak bersaing, tetapi tidak memberikan uji perbandingan. Akibatnya, mereka tidak dapat menunjukkan apakah satu model secara signifikan lebih baik daripada yang lain. GENMOD, LOGISTIC, GLIMMIX, MIXED, dan prosedur lainnya memberikan ukuran kriteria informasi. "

Ada dua prosedur pengujian model komparatif: a) uji Vuong dan b) uji Clarke non-parametrik. Lihat makalah ini untuk detailnya.