Interpretasi nilai AIC

Nilai khas AIC yang saya lihat untuk model logistik adalah ribuan, setidaknya ratusan. misalnya pada http://www.r-bloggers.com/how-to-perform-a-logistic-regress-in-r/ AIC adalah 727,39

Meskipun selalu dikatakan bahwa AIC harus digunakan hanya untuk membandingkan model, saya ingin memahami apa arti nilai AIC tertentu. Sesuai rumus, $AIC= -2 \log(L)+ 2K$

Di mana, L = kemungkinan maksimum dari penaksir MLE, K adalah sejumlah parameter

Dalam contoh di atas, K = 8

demikian, dengan aritmatika sederhana:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

Jadi, jika pemahaman saya benar, ini adalah kemungkinan fungsi yang diidentifikasi oleh MLE pas data. Tampaknya ini sangat sangat rendah.

Apa yang kulewatkan di sini?

Tidak ada yang namanya "tipikal" atau kemungkinan yang benar untuk model. Sama dengan AIC , itu adalah kemungkinan log negatif yang dikenakan sanksi untuk sejumlah parameter. Nilai AIC yang lebih rendah menunjukkan model "lebih baik", tetapi ini adalah ukuran relatif dari kecocokan model. Ini digunakan untuk pemilihan model, yaitu memungkinkan Anda untuk membandingkan berbagai model yang diperkirakan pada dataset yang sama.

Ingat Kotak GEP yang mengatakan bahwa "semua model salah, tetapi ada beberapa yang berguna", Anda tidak tertarik untuk menemukan model yang sangat cocok dengan data Anda karena tidak mungkin dan model seperti itu dalam banyak kasus akan menjadi sangat buruk, overfitted satu . Sebaliknya, Anda mencari yang terbaik yang bisa Anda dapatkan, yang paling berguna. Gagasan umum di balik AIC adalah bahwa model dengan jumlah parameter yang lebih rendah lebih baik, yang entah bagaimana konsisten dengan argumen pisau cukur Occam , bahwa kami lebih memilih model sederhana daripada yang rumit.

Anda dapat memeriksa kertas-kertas berikut:

Anderson, D., & Burnham, K. (2006). Mitos dan kesalahpahaman AIC.

Burnham, KP, & Anderson, DR (2004). Inferensi Multimodel. Memahami AIC dan BIC dalam Pemilihan Model. Metode & Penelitian Sosiologis, 33 (2), 261-304.

dan utas-utas itu:

Apa perbedaan antara "kemungkinan" dan "probabilitas"?

Apakah ada alasan untuk lebih menyukai AIC atau BIC daripada yang lain?

$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

Tampaknya ini sangat sangat rendah. Apa yang kulewatkan di sini?

Kuantitas seperti AIC, yang melibatkan penggunaan log-likelihood, hanya bermakna relatif terhadap kuantitas lain seperti itu . Ingatlah bahwa fungsi kemungkinan hanya didefinisikan hingga konstanta penskalaan, sehingga dapat ditingkatkan ke atas atau ke bawah sesuka hati. Konsekuensinya, log-likelihood hanya didefinisikan hingga konstanta lokasi, dan dapat digeser ke atas atau ke bawah sesuka hati. Ini berlaku juga untuk AIC, karena kuantitas ini hanya log-likelihood, digeser oleh penalti pada jumlah parameter. Itulah alasan mengapa dikatakan bahwa AIC hanya boleh digunakan untuk membandingkan model.

$n=800$

$\hat{\ell}/n = -0.4449375$$0.6408643$

Anda telah benar menunjukkan bahwa jika Anda menghitung kembali kemungkinan, menggunakan AIC yang dilaporkan oleh R, Anda mendapatkan kemungkinan sangat rendah. Alasannya adalah bahwa nilai AIC yang dilaporkan oleh R (sebut saja AICrep) bukan AIC yang sebenarnya (AICtrue). AICrep dan AICtrue berbeda dengan konstanta yang bergantung pada data yang diukur tetapi tidak tergantung pada model yang dipilih. Oleh karena itu kemungkinan perhitungan kembali dari AICrep akan salah. Ini adalah perbedaan di AICS, ketika model yang berbeda yang digunakan agar sesuai dengan data yang sama, yang berguna dalam memilih model terbaik.