Mengapa menerapkan pemilihan model menggunakan AIC memberi saya nilai p tidak signifikan untuk variabel

Saya memiliki beberapa pertanyaan tentang AIC dan berharap Anda dapat membantu saya. Saya menerapkan pemilihan model (mundur, atau maju) berdasarkan AIC pada data saya. Dan beberapa variabel yang dipilih berakhir dengan nilai p> 0,05. Saya tahu bahwa orang-orang mengatakan kita harus memilih model berdasarkan AIC dan bukan nilai-p, jadi sepertinya AIC dan nilai-p adalah dua konsep perbedaan. Bisakah seseorang memberi tahu saya apa perbedaannya? Apa yang saya pahami sejauh ini adalah:

1. Untuk seleksi mundur menggunakan AIC, misalkan kita memiliki 3 variabel (var1, var2, var3) dan AIC dari model ini adalah AIC *. Jika mengecualikan salah satu dari ketiga variabel ini tidak akan berakhir dengan AIC yang secara signifikan lebih rendah dari AIC * (dalam hal distribusi ch-square dengan df = 1), maka kita dapat mengatakan ketiga variabel ini adalah hasil akhir.

2. Nilai p yang signifikan untuk suatu variabel (misalnya var1) dalam model tiga variabel berarti bahwa ukuran efek standar dari variabel tersebut secara signifikan berbeda dari 0 (menurut Wald, atau uji-t).

Apa perbedaan mendasar antara kedua metode ini? Bagaimana saya mengartikannya jika ada beberapa variabel yang memiliki nilai p tidak signifikan dalam model terbaik saya (diperoleh melalui AIC)?

AIC dan variannya lebih dekat dengan variasi pada kemudian pada p-nilai masing-masing regressor. Lebih tepatnya, mereka adalah versi-versi dari kemungkinan log.$R^2$

Anda tidak ingin menguji perbedaan AIC menggunakan chi-squared. Anda bisa menguji perbedaan kemungkinan log menggunakan chi-squared (jika model bersarang). Untuk AIC, lebih rendah lebih baik (dalam sebagian besar implementasi itu, pula). Tidak perlu penyesuaian lebih lanjut.

Anda benar-benar ingin menghindari metode pemilihan model otomatis, jika memungkinkan. Jika Anda harus menggunakannya, coba LASSO atau LAR.

$\chi^2_1$

Jadi tidak mengherankan jika Anda membandingkannya dengan menggunakan beberapa cutoff yang lebih kecil untuk nilai-p yang kadang-kadang menyertakan variabel dengan nilai p yang lebih tinggi daripada cutoff itu.

Perhatikan bahwa tidak ada nilai p atau AIC yang dirancang untuk pemilihan model bertahap, pada kenyataannya asumsi yang mendasari keduanya (tetapi asumsi yang berbeda) dilanggar setelah langkah pertama dalam regresi bertahap. Seperti @PeterFlom sebutkan, LASSO dan / atau LAR adalah alternatif yang lebih baik jika Anda merasa perlu untuk pemilihan model otomatis. Metode-metode tersebut menarik perkiraan yang besar secara kebetulan (yang secara bertahap memberikan hadiah untuk kesempatan) kembali ke 0 dan karenanya cenderung kurang bias daripada bertahap (dan bias yang tersisa cenderung lebih konservatif).

Masalah besar dengan AIC yang sering diabaikan adalah ukuran perbedaan dalam nilai-nilai AIC, itu semua umum untuk melihat "lebih rendah lebih baik" dan berhenti di situ (dan proses otomatis hanya menekankan ini). Jika Anda membandingkan 2 model dan mereka memiliki nilai AIC yang sangat berbeda, maka ada preferensi yang jelas untuk model dengan AIC yang lebih rendah, tetapi seringkali kita akan memiliki 2 (atau lebih) model dengan nilai AIC yang dekat satu sama lain, di kasus ini hanya menggunakan model dengan nilai AIC terendah akan kehilangan informasi berharga (dan menyimpulkan hal-hal tentang istilah yang ada dalam atau tidak dalam model ini tetapi berbeda dalam model serupa lainnya akan menjadi tidak berarti atau lebih buruk). Informasi dari luar data itu sendiri (seperti seberapa keras / mahal) mengumpulkan kumpulan variabel prediktor) dapat membuat model dengan AIC yang sedikit lebih tinggi lebih diinginkan untuk digunakan tanpa banyak kehilangan kualitas. Pendekatan lain adalah dengan menggunakan rata-rata tertimbang dari model yang sama (ini mungkin akan menghasilkan prediksi akhir yang serupa dengan metode hukuman seperti regresi ridge atau laso, tetapi proses pemikiran yang mengarah ke model mungkin membantu dalam pemahaman).

Pengalaman saya dengan AIC adalah bahwa jika variabel nampak tidak signifikan, tetapi masih muncul dalam model dengan AIC terkecil, itu menjadi kemungkinan pembaur.

Saya sarankan Anda memeriksa pembaur. Menghapus variabel yang tidak signifikan seperti itu harus mengubah magnetude dari beberapa koefisien yang diperkirakan tersisa lebih dari 25%.

Saya pikir pemilihan model terbaik adalah dengan menggunakan paket MuMIn. Ini akan menjadi hasil langkah pertama dan Anda tidak perlu mencari nilai AIC terendah. Contoh:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]