Penjelasan satu kalimat dari AIC untuk jenis non-teknis

8

Saya perlu penjelasan satu kalimat tentang penggunaan AIC dalam pembuatan model. Sejauh ini saya telah "Sederhananya, AIC adalah ukuran relatif dari jumlah variasi yang diamati dicatat oleh model yang berbeda dan memungkinkan koreksi untuk kompleksitas model."

Setiap saran sangat dihargai.

R

aic

— rosser
sumber

11

AIC adalah angka yang bermanfaat untuk membandingkan model karena mencakup ukuran seberapa baik model tersebut cocok dengan data dan seberapa kompleks model tersebut.

— Peter Flom
sumber

8

Apa yang akan menjadi penjelasan terbaik tergantung pada apa yang dimaksud dengan "tipe non-teknis". Saya suka pernyataan yang telah ditawarkan sejauh ini, tetapi saya punya satu berdalih: Mereka cenderung menggunakan istilah "kompleks", dan apa tepatnya yang dipahami artinya bisa bervariasi. Izinkan saya menawarkan variasi ini:

AIC adalah ukuran seberapa baik suatu model cocok dengan dataset, sambil menyesuaikan kemampuan model tersebut agar sesuai dengan dataset mana pun apakah itu terkait atau tidak.

— gung - Pasang kembali Monica
sumber

+1. Saya pikir inilah kuncinya: kapan lebih fleksibel terlalu fleksibel? Mungkin "menyesuaikan" mungkin diulang "menghukum"? Jadi itu seperti

The AIC is a measure of how well a model fits a dataset, penalizing models that are so flexible that they would also fit unrelated datasets just as well.

— Wayne

Saya setuju bahwa itu tergantung pada apa yang dimaksud dengan "tipe non teknis". Sebagian besar orang yang bekerja dengan saya adalah PhD dalam ilmu sosial, medis atau perilaku; mereka berpendidikan, tetapi tidak tahu statistik. Tapi saya tidak yakin saya suka beberapa kata terakhir dalam definisi Anda, karena tidak jelas apa artinya "terkait" di sini. Mungkin dalam definisi saya, saya bisa mengganti "jumlah variabel independen" untuk "kompleks". Saya pikir banyak orang tahu apa itu IV ... Pertanyaan yang menarik!

— Peter Flom

@PeterFlom, Anda benar - kami semacam menukar satu kemungkinan kebingungan dengan yang lain. Secara pribadi, ketika Anda tahu dengan siapa Anda berbicara, saya ragu salah satu dari kita akan memiliki masalah. Persyaratan 1 kalimat juga cukup ketat; beri saya beberapa angka & 5 menit & saya bisa mengajak siapa saja. Dan untuk lebih jelasnya, itu bukan kritik, saya menyukai jawaban Anda & mengangkatnya.

— gung - Reinstate Monica

5

Berikut adalah definisi yang menempatkan AIC dalam daftar teknik yang digunakan untuk pemilihan model. AIC hanyalah salah satu dari beberapa cara yang masuk akal untuk menangkap trade-off antara goodness of fit (yang ditingkatkan dengan menambahkan kompleksitas model dalam bentuk variabel penjelas tambahan, atau menambahkan peringatan seperti "tetapi hanya pada hari Kamis, saat hujan") dan kekikiran (lebih sederhana == lebih baik) dalam membandingkan model yang tidak bersarang. Inilah hasil cetaknya:

Saya percaya definisi OP hanya berlaku untuk model linier. Untuk hal-hal seperti probe, AIC biasanya didefinisikan dalam hal log-likelihood.
Beberapa kriteria lain disesuaikan $R^{2}$ (yang memiliki sedikit penyesuaian untuk variabel penjelas tambahan), Kullback-Leibler IC, BIC / SC, dan yang lebih eksotis, seperti kriteria prediksi Amemiya, jarang terlihat di belantara pekerjaan terapan. Kriteria ini berbeda pada seberapa tajam mereka menghukum kompleksitas model. Beberapa berpendapat bahwa AIC cenderung memilih model yang overparameter, karena penalti ukuran model cukup rendah. BIC / SC juga meningkatkan penalti saat ukuran sampel meningkat, yang tampaknya seperti fitur praktis.
Cara yang baik untuk menghindari partisipasi dalam Kriteria Informasi Top Amerika, adalah mengakui bahwa kriteria ini sewenang-wenang dan perkiraan yang cukup besar terlibat dalam menurunkan mereka, terutama dalam kasus non-linear. Dalam praktiknya, pilihan model dari serangkaian model mungkin harus bergantung pada tujuan penggunaan model itu. Jika tujuannya adalah untuk menjelaskan fitur-fitur utama dari masalah yang kompleks, kekikiran seharusnya sebanding dengan bobotnya dalam emas. Jika prediksi adalah nama permainan, kekikiran seharusnya tidak terlalu disayang. Beberapa bahkan akan menambahkan bahwa teori / pengetahuan domain juga harus memainkan peran yang lebih besar. Bagaimanapun, apa yang Anda rencanakan untuk dilakukan dengan model harus menentukan kriteria apa yang mungkin Anda gunakan.
Untuk model bersarang , uji hipotesis standar yang membatasi parameter ke nol sudah cukup.

— Dimitriy V. Masterov
sumber

3

Bagaimana tentang:

AIC membantu Anda menemukan model paling pas yang menggunakan variabel paling sedikit.

Jika itu terlalu jauh ke arah non-teknis, beri tahu saya dalam komentar dan saya akan membuat yang lain.

— sparc_spread
sumber

2

AIC mengimplementasikan pisau cukur Occam?

— Dilip Sarwate

@Dilip - sejauh melewati garis, Anda bahkan tidak dapat melihat garis lagi - lol, terima kasih. Saya pikir saya akan menggunakan sesuatu antara Peter dan milik saya.

— rosser

3

AIC adalah ukuran seberapa baik data dijelaskan oleh model dikoreksi untuk seberapa kompleks model tersebut.

— John
sumber

2

Sisi lain dari jawaban luar biasa @ gung:

~~AIC adalah angka yang mengukur seberapa baik suatu model cocok dengan dataset, pada skala geser yang membutuhkan model yang lebih rumit untuk secara signifikan lebih akurat untuk menilai lebih tinggi.~~

EDIT:

AIC adalah angka yang mengukur seberapa baik suatu model cocok dengan dataset, pada skala geser yang membutuhkan model yang secara signifikan lebih rumit atau fleksibel untuk juga secara signifikan lebih akurat.

— Wayne
sumber

+1, ini bagus, tapi jujur saja, saya lebih suka saran "menghukum" Anda. Saya bisa membayangkan orang yang tidak mengerti apa yang Anda maksud dengan "rumit".

— gung - Reinstate Monica

@ung: Saya setuju bahwa ini tidak cukup berhasil, tapi saya mencoba menjembatani kesenjangan dari "model" ke "penjelasan", di mana orang mungkin bisa membayangkan bahwa penjelasan yang lebih rumit perlu lebih akurat untuk membenarkan kata-kata tambahan.

— Wayne

-1

Misalkan k adalah jumlah parameter model dan MaxL adalah nilai fungsi kemungkinan pada maksimumnya. Kemudian Kriteria Informasi Akaike didefinisikan sebagai $AIC=2k-2\ln\left(MaxL\right)$ . Tujuannya adalah untuk menemukan model yang meminimalkan AIC.

Dengan definisi ini, AIC adalah kriteria yang digunakan untuk memilih model yang menghasilkan kompromi terbaik antara sparsity dalam jumlah parameter dan kemungkinan maksimum untuk estimasi parameter-parameter tersebut.

— Jean-Victor Côté
sumber