AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Dapatkah saya menggunakannya secara bergantian?

Pada p. 34 dari PRNN- nya Brian Ripley berkomentar bahwa "AIC dinamai oleh Akaike (1974) sebagai 'Kriteria Informasi' walaupun tampaknya secara umum diyakini bahwa A adalah singkatan dari Akaike". Memang, ketika memperkenalkan statistik AIC, Akaike (1974, p.719) menjelaskan hal itu

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

Mempertimbangkan kutipan ini sebagai prediksi yang dibuat pada 1974, menarik untuk dicatat bahwa hanya dalam empat tahun dua jenis statistik BIC (Bayesian IC) diusulkan oleh Akaike (1977, 1978) dan Schwarz (1978). Butuh Spiegelhalter et al. (2002) lebih lama untuk menghasilkan DIC (Deviance IC). Sementara penampilan kriteria CIC tidak diprediksi oleh Akaike (1974), naif untuk percaya bahwa kriteria CIC tidak pernah direnungkan. Itu diusulkan oleh Carlos C. Rodriguez pada tahun 2005. (Perhatikan bahwa CIC R. Tibshirani dan K. Knight (Kriteria Inflasi Kovarian) adalah hal yang berbeda.)

Saya tahu bahwa EIC (IC Empiris) diusulkan oleh orang-orang dari Universitas Monash sekitar tahun 2003. Saya baru saja menemukan Kriteria Informasi Fokus (FIC). Beberapa buku menyebut Hannan dan Quinn IC sebagai HIC, lihat misalnya yang ini ). Saya tahu harus ada GIC (Generalized IC) dan saya baru saja menemukan Information Investing Criterion (IIC). Ada NIC, TIC dan banyak lagi.

Saya pikir saya mungkin dapat menutupi sisa alfabet, jadi saya tidak bertanya di mana urutan AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, HIC, IIC, ... berhenti, atau apa huruf alfabet miliki tidak pernah digunakan atau telah digunakan setidaknya dua kali (misalnya E dalam EIC dapat berarti Extended atau Empiris) Pertanyaan saya lebih sederhana dan saya harap lebih bermanfaat secara praktis. Bisakah saya menggunakan statistik itu secara bergantian, mengabaikan asumsi spesifik yang menjadi alasan mereka, situasi spesifik yang seharusnya mereka terapkan, dan sebagainya?

Pertanyaan ini sebagian dimotivasi oleh Burnham & Anderson (2001) menulis bahwa:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Bab 7 dari monografi Hyndman et al. Tentang pemulusan eksponensial tampaknya mengikuti saran BA ketika melihat seberapa baik lima IC alternatif (AIC, BIC, AICc, HQIC, LEIC) tampil dalam memilih model yang perkiraan terbaik (seperti yang diukur) oleh ukuran kesalahan yang baru diusulkan yang disebut MASE) untuk menyimpulkan bahwa AIC adalah alternatif yang lebih baik lebih sering. (HQIC dilaporkan sebagai pemilih model terbaik sekali saja.)

Saya tidak yakin apa tujuan berguna dari latihan penelitian yang secara implisit memperlakukan semua ICc seolah-olah mereka diturunkan untuk menjawab satu dan pertanyaan yang sama di bawah set asumsi yang setara. Secara khusus, saya tidak yakin bagaimana berguna untuk menyelidiki kinerja prediksi kriteria konsisten untuk menentukan urutan autoregresi (yang Hannan dan Quinn diturunkan untuk urutan stasioner ergodik) dengan menggunakannya dalam konteks non-stasioner secara eksponensial. model penghalusan dijelaskan dan dianalisis dalam monograf oleh Hyndman et al. Apakah saya melewatkan sesuatu di sini?

Referensi:

Akaike, H. (1974), Pandangan baru pada identifikasi model statistik, Transaksi IEEE pada Kontrol Otomatis 19 (6), 716-723.

Akaike, H. (1977), Pada prinsip maksimalisasi entropi, dalam PR Krishnaiah, ed., Aplikasi statistik , Vol. 27, Amsterdam: Belanda Utara, hlm. 27-41.

Akaike, H. (1978), Sebuah analisis Bayesian tentang prosedur AIC minimum, Annals of Institute of Statistics Mathematics 30 (1), 9-14.

Burnham, KP & Anderson, DR (2001) Kullback – Leibler informasi sebagai dasar untuk inferensi yang kuat dalam studi ekologi, Wildlife Research 28, 111-119

Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, RD Forecasting dengan smoothing eksponensial: pendekatan ruang negara. New York: Springer, 2008

Ripley, Pengenalan Pola BD dan Jaringan Saraf Tiruan . Cambridge: Cambridge University Press, 1996

Schwarz, G. (1978), Memperkirakan dimensi model, Annals of Statistics 6 (2), 461-464.

Spiegelhalter, DJ, Best, NG, Carlin, BP dan van der Linde, A. (2002), Bayesian mengukur kompleksitas model dan t (dengan diskusi), Journal of Royal Statistics Society. Seri B (Metodologi Statistik) 64 (4), 583-639.

Pemahaman saya adalah bahwa AIC, DIC, dan WAIC semuanya mengestimasi hal yang sama: penyimpangan out-of-sample yang diharapkan terkait dengan model. Ini juga hal yang sama dengan perkiraan validasi silang. Dalam Gelman et al. (2013), mereka mengatakan ini secara eksplisit:

Cara alami untuk memperkirakan kesalahan prediksi out-of-sample adalah cross-validation (lihat Vehtari dan Lampinen, 2002, untuk perspektif Bayesian), tetapi peneliti selalu mencari langkah-langkah alternatif, karena validasi silang memerlukan model yang cocok dan dapat diulang. mengalami masalah dengan data yang jarang. Untuk alasan praktis saja, masih ada tempat untuk koreksi bias sederhana seperti AIC (Akaike, 1973), DIC (Spiegelhalter, Best, Carlin, dan van der Linde, 2002, van der Linde, 2005), dan, baru-baru ini, WAIC (Watanabe, 2010), dan semua ini dapat dilihat sebagai perkiraan untuk versi yang berbeda dari cross-validation (Stone, 1977).

BIC memperkirakan sesuatu yang berbeda, yang terkait dengan panjang deskripsi minimum. Gelman et al. mengatakan:

BIC dan variannya berbeda dari kriteria informasi lain yang dipertimbangkan di sini karena dimotivasi bukan oleh estimasi sesuai prediksi tetapi dengan tujuan mendekati kepadatan probabilitas marginal data, p (y), di bawah model, yang dapat digunakan untuk memperkirakan probabilitas posterior relatif dalam pengaturan perbandingan model diskrit.

Sayangnya, saya tidak tahu apa-apa tentang kriteria informasi lain yang Anda daftarkan.

Bisakah Anda menggunakan kriteria informasi seperti AIC secara bergantian? Pendapat mungkin berbeda, tetapi mengingat bahwa AIC, DIC, WAIC, dan validasi silang semuanya memperkirakan hal yang sama, maka ya, mereka lebih atau kurang dapat dipertukarkan. BIC berbeda, seperti disebutkan di atas. Saya tidak tahu tentang yang lain.

Kenapa punya lebih dari satu?

• AIC bekerja dengan baik ketika Anda memiliki perkiraan kemungkinan maksimum dan prior flat, tetapi tidak benar-benar memiliki sesuatu untuk dikatakan tentang skenario lain. Hukuman juga terlalu kecil ketika jumlah parameter mendekati jumlah titik data. AICc melakukan koreksi berlebihan untuk ini, yang bisa baik atau buruk tergantung pada perspektif Anda.

• DIC menggunakan penalti yang lebih kecil jika bagian-bagian model sangat dibatasi oleh prior (misalnya dalam beberapa model multi-level di mana komponen varians diperkirakan). Ini bagus, karena parameter yang sangat dibatasi tidak benar-benar membentuk tingkat kebebasan penuh. Sayangnya, formula yang biasanya digunakan untuk DIC mengasumsikan bahwa posterior pada dasarnya adalah Gaussian (yaitu bahwa ia dijelaskan dengan baik dengan rata-rata), dan dengan demikian seseorang dapat memperoleh hasil yang aneh (misalnya hukuman negatif) dalam beberapa situasi.

• WAIC menggunakan seluruh kepadatan posterior lebih efektif daripada DIC, jadi Gelman et al. lebih suka itu meskipun dapat menjadi sakit untuk menghitung dalam beberapa kasus.

• Validasi silang tidak bergantung pada formula tertentu, tetapi dapat menjadi penghalang komputasi bagi banyak model.

Dalam pandangan saya, keputusan tentang salah satu kriteria seperti AIC yang akan digunakan sepenuhnya bergantung pada masalah-masalah praktis semacam ini, dan bukan bukti matematis bahwa yang satu akan melakukan yang lebih baik daripada yang lain.

Referensi :

Gelman et al. Memahami kriteria informasi prediktif untuk model Bayesian. Tersedia dari http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf

"Dipertukarkan" adalah kata yang terlalu kuat. Semuanya adalah kriteria yang berusaha membandingkan model dan menemukan model "terbaik", tetapi masing-masing mendefinisikan "terbaik" secara berbeda dan dapat mengidentifikasi model yang berbeda sebagai "terbaik".

"Usulkan referendum". Hanya untuk memilih! ;-) Saya menyukai CAIC (Bozdogan, 1987) dan BIC murni dari praktik pribadi saya, karena kriteria ini memberikan hukuman serius untuk kompleksitas, kami mendapat lebih banyak kekikiran, tetapi saya selalu menampilkan daftar model yang baik - untuk delta 4-6 -8 (bukan 2). Dalam langkah menyelidiki parameter (karena kami memiliki "model kandidat yang bagus"), rata-rata MM (B&A) seringkali hampir tidak ada perubahan. Saya sedikit ragu dengan AIC klasik dan AICc (H&T, dipopulerkan oleh B&A), karena mereka sering memberikan "lapisan krim yang sangat tebal". ;-)