AIC versus validasi silang dalam seri waktu: kasus sampel kecil

Saya tertarik pada pemilihan model dalam pengaturan deret waktu. Untuk konkret, anggaplah saya ingin memilih model ARMA dari kumpulan model ARMA dengan pesanan lag yang berbeda. Maksud utamanya adalah perkiraan .

Pemilihan model dapat dilakukan oleh

validasi silang,
penggunaan kriteria informasi (AIC, BIC),

antara metode lainnya.

Rob J. Hyndman menyediakan cara untuk melakukan validasi silang untuk deret waktu . Untuk sampel yang relatif kecil, ukuran sampel yang digunakan dalam validasi silang mungkin secara kualitatif berbeda dari ukuran sampel asli. Sebagai contoh, jika ukuran sampel asli adalah 200 pengamatan, maka orang bisa memikirkan memulai validasi silang dengan mengambil 101 pengamatan pertama dan memperluas jendela ke 102, 103, ..., 200 pengamatan untuk mendapatkan 100 hasil validasi silang. Jelas, model yang cukup pelit untuk 200 observasi mungkin terlalu besar untuk 100 pengamatan dan dengan demikian kesalahan validasinya akan besar. Jadi validasi silang cenderung secara sistematis mendukung model yang terlalu pelit. Ini adalah efek yang tidak diinginkan karena ketidakcocokan ukuran sampel .

Alternatif untuk validasi silang adalah menggunakan kriteria informasi untuk pemilihan model. Karena saya peduli tentang perkiraan, saya akan menggunakan AIC. Meskipun AIC secara asimtotik sama dengan meminimalkan perkiraan MSE satu langkah out-of-sample untuk model deret waktu (menurut posting ini oleh Rob J. Hyndman), saya ragu ini relevan di sini karena sampel ukuran yang saya pedulikan tidak sebesar itu ...

Pertanyaan: apakah saya harus memilih AIC dari validasi seri silang waktu untuk sampel kecil / menengah?

Beberapa pertanyaan terkait dapat ditemukan di sini , di sini dan di sini .

— Richard Hardy
sumber

Saya juga membayangkan BIC juga setara dengan perkiraan "lebih lama" (m-step depan), mengingat tautannya untuk tidak memvalidasi silang k. Namun untuk 200 pengamatan, mungkin tidak ada banyak perbedaan (penalti 5p bukannya 2p).

— probabilityislogic

@CagdasOzgenc, saya bertanya kepada Rob J. Hyndman tentang apakah validasi silang cenderung secara sistematis mendukung model yang terlalu pelit dalam konteks yang diberikan dalam OP dan mendapat konfirmasi, sehingga cukup menggembirakan. Maksud saya, ide yang saya coba jelaskan dalam obrolan tampaknya valid.

— Richard Hardy

Ada alasan teoritis untuk mendukung AIC atau BIC karena jika seseorang mulai dengan teori kemungkinan dan informasi, maka metrik yang didasarkan pada hal-hal tersebut memiliki sifat statistik yang terkenal. Tetapi sering kali seseorang berurusan dengan set data yang tidak terlalu besar.

— Analis

Saya sudah menghabiskan cukup banyak waktu untuk mencoba memahami AIC. Kesetaraan pernyataan didasarkan pada berbagai perkiraan yang berjumlah versi CLT. Saya pribadi berpikir ini membuat AIC sangat dipertanyakan untuk sampel kecil.

— meh

@IsabellaGhement, mengapa harus begitu? Tidak ada alasan untuk membatasi diri kami untuk penggunaan khusus validasi silang ini. Ini bukan untuk mengatakan bahwa validasi silang tidak dapat digunakan untuk penilaian model, tentu saja.

— Richard Hardy

Jawaban:

Mengesampingkan pertimbangan teoretis, Kriteria Informasi Akaike hanyalah kemungkinan dihukum oleh derajat kebebasan. Yang berikut, AIC memperhitungkan ketidakpastian dalam data ( -2LL ) dan membuat asumsi bahwa lebih banyak parameter mengarah pada risiko overfitting ( 2k ) yang lebih tinggi. Validasi silang hanya melihat kinerja set tes dari model, tanpa asumsi lebih lanjut.

Jika Anda sangat peduli tentang membuat prediksi dan Anda dapat mengasumsikan bahwa set tes akan cukup mirip dengan data dunia nyata, Anda harus melakukan validasi silang. Masalah yang mungkin terjadi adalah ketika data Anda kecil, kemudian dengan membaginya, Anda berakhir dengan pelatihan kecil dan set tes. Lebih sedikit data untuk pelatihan buruk, dan lebih sedikit data untuk set tes membuat hasil validasi silang lebih tidak pasti (lihat Varoquaux, 2018 ). Jika sampel uji Anda tidak mencukupi, Anda mungkin dipaksa untuk menggunakan AIC, tetapi ingat apa yang diukur, dan apa yang dapat membuat asumsi itu.

Di sisi lain, sebagaimana telah disebutkan dalam komentar, AIC memberi Anda jaminan tanpa gejala, dan tidak demikian halnya dengan sampel kecil. Sampel kecil mungkin menyesatkan tentang ketidakpastian data juga.

— Tim
sumber

Terima kasih atas jawaban Anda! Apakah Anda memiliki komentar spesifik mengenai efek yang tidak diinginkan dari ukuran sampel yang jauh lebih kecil dalam validasi silang karena sifat deret waktu dari data?

— Richard Hardy

Hm - jika tujuan akhir Anda adalah untuk memprediksi, mengapa Anda berniat melakukan pemilihan model sama sekali? Sejauh yang saya tahu, itu baik mapan dalam literatur statistik "tradisional" dan literatur pembelajaran mesin yang rata - rata model lebih unggul ketika datang ke prediksi. Sederhananya, model rata-rata berarti bahwa Anda memperkirakan semua model yang masuk akal, biarkan mereka semua memprediksi dan rata-rata prediksi mereka ditimbang oleh bukti model relatif mereka.

Referensi yang berguna untuk memulai adalah https://journals.sagepub.com/doi/10.1177/0049124104268644

Mereka menjelaskan ini dengan cukup sederhana dan merujuk pada literatur yang relevan.

Semoga ini membantu.

— StoryTeller0815
sumber

-1

Ide saya adalah, lakukan keduanya dan lihat. Langsung menggunakan AIC. Semakin kecil AIC, semakin baik modelnya. Tetapi seseorang tidak dapat bergantung pada AIC dan mengatakan model seperti itu adalah yang terbaik. Jadi, jika Anda memiliki kumpulan model ARIMA, ambil masing-masing dan periksa perkiraan untuk nilai-nilai yang ada dan lihat model mana yang memprediksi terdekat dengan data deret waktu yang ada. Kedua, periksa AIC juga dan mempertimbangkan keduanya, datang ke pilihan yang baik. Tidak ada aturan yang keras dan cepat. Pilih saja model yang memprediksi yang terbaik.

— Dovini Jayasinghe
sumber

Terima kasih atas jawaban Anda! Saya mencari cara berprinsip untuk memilih antara berbagai metode pemilihan model. Meskipun Anda benar bahwa Tidak ada aturan yang keras dan cepat , kami membutuhkan panduan yang jelas dalam kondisi ideal hipotetis untuk membantu kami dalam situasi dunia nyata yang berantakan. Jadi, sementara saya umumnya setuju dengan sudut pandang Anda, saya tidak menemukan jawaban Anda sangat membantu.

— Richard Hardy