Apakah tidak biasa bagi MEAN mengungguli ARIMA?

Saya baru-baru ini menerapkan serangkaian metode peramalan (MEAN, RWF, ETS, ARIMA dan MLP) dan menemukan bahwa MEAN ternyata bekerja dengan sangat baik. (BERARTI: di mana semua prediksi masa depan diprediksi sama dengan rata-rata aritmatika dari nilai-nilai yang diamati.) MEAN bahkan mengungguli ARIMA pada tiga seri yang saya gunakan.

Yang ingin saya ketahui adalah apakah ini tidak biasa? Apakah ini berarti deret waktu yang saya gunakan aneh? Atau apakah ini menunjukkan bahwa saya telah mengatur sesuatu yang salah?

Saya seorang praktisi, baik produser dan pengguna peramalan dan BUKAN ahli statistik terlatih. Di bawah ini saya membagikan beberapa pemikiran saya tentang mengapa perkiraan rata-rata Anda ternyata lebih baik daripada ARIMA dengan merujuk pada artikel penelitian yang mengandalkan bukti empiris. Satu buku yang berulang kali saya rujuk kembali adalah buku Principles of Forecasting karya Armstrong dan situs webnya yang saya rekomendasikan sebagai bacaan yang luar biasa untuk peramal apa pun, memberikan wawasan yang hebat tentang penggunaan dan prinsip-prinsip panduan metode ekstrapolasi.

Untuk menjawab pertanyaan pertama Anda - Apa yang ingin saya ketahui adalah apakah ini tidak biasa?

Ada bab yang disebut Extrapolation for Time-Series dan Cross-Sectional Data yang juga tersedia gratis di situs web yang sama . Berikut ini adalah kutipan dari bab ini

"Sebagai contoh, dalam kompetisi M2 real-time, yang menguji 29 seri bulanan, Box-Jenkins terbukti menjadi salah satu metode yang paling tidak akurat dan kesalahan median keseluruhan adalah 17% lebih besar dari itu untuk ramalan naif"

Terdapat bukti empiris tentang mengapa perkiraan rata-rata Anda lebih baik daripada model ARIMA.

Ada juga penelitian demi penelitian dalam kompetisi empiris dan kompetisi M3 ketiga yang menunjukkan pendekatan Box-Jenkins ARIMA gagal menghasilkan perkiraan yang akurat dan kurang bukti bahwa kinerjanya lebih baik untuk ekstrapolasi tren univariat.

Ada juga makalah lain dan penelitian yang sedang berlangsung oleh Greene dan Armstrong berjudul " Peramalan Sederhana: Hindari Air Mata Sebelum Tidur " di situs web yang sama. Penulis makalah ini merangkum sebagai berikut:

Secara total kami mengidentifikasi 29 makalah yang menggabungkan 94 perbandingan formal tentang akurasi perkiraan dari metode yang kompleks dengan yang dari metode yang sederhana — tetapi tidak dalam semua kasus yang canggih — sederhana. Delapan puluh tiga persen dari perbandingan menemukan bahwa perkiraan dari metode sederhana lebih akurat daripada, atau sama akuratnya dengan, dari metode yang kompleks. Rata-rata, kesalahan perkiraan dari metode kompleks sekitar 32 persen lebih besar daripada kesalahan perkiraan dari metode sederhana dalam 21 studi yang menyediakan perbandingan kesalahan.

Untuk menjawab pertanyaan ketiga Anda : apakah ini menunjukkan bahwa saya telah mengatur sesuatu yang salah? Tidak, saya akan menganggap ARIMA sebagai metode yang rumit dan perkiraan rata-rata sebagai metode sederhana. Ada banyak bukti bahwa metode sederhana seperti Perkiraan rata-rata mengungguli metode kompleks seperti ARIMA.

Untuk menjawab pertanyaan kedua Anda : Apakah ini berarti deret waktu yang saya gunakan aneh?

Berikut ini yang saya anggap ahli dalam peramalan dunia nyata:

• Makridakis (Perintis persaingan empiris pada Peramalan yang disebut M, M2 dan M3, dan membuka jalan untuk metode berbasis bukti dalam peramalan)
• Armstrong (Memberikan wawasan berharga dalam bentuk buku / artikel tentang Praktik Peramalan)
• Gardner (Invented Damped Trend exponential merapikan metode sederhana lain yang bekerja sangat baik vs. ARIMA)

Semua peneliti di atas menganjurkan, kesederhanaan (metode seperti perkiraan rata-rata Anda) vs. Metode kompleks seperti ARIMA. Jadi Anda harus merasa nyaman bahwa ramalan Anda baik dan selalu mendukung kesederhanaan daripada kompleksitas berdasarkan bukti empiris. Para peneliti ini semuanya berkontribusi besar dalam bidang peramalan terapan.

Selain daftar bagus metode peramalan sederhana Stephan. ada juga metode lain yang disebut metode peramalan Theta yang merupakan metode yang sangat sederhana (pada dasarnya perataan eksponensial sederhana dengan drift yang sama dengan 1/2 kemiringan regresi linier) Saya akan menambahkan ini ke kotak peralatan Anda. Forecast package in Rmengimplementasikan metode ini.

Ini sama sekali tidak mengejutkan . Dalam peramalan, Anda sangat sering menemukan metode yang sangat sederhana, seperti

• rata-rata keseluruhan
• jalan acak naif (yaitu, pengamatan terakhir digunakan sebagai perkiraan)
• jalan acak musiman (yaitu, pengamatan dari satu tahun yang lalu)
• Penghalusan Eksponensial Tunggal

mengungguli metode yang lebih kompleks. Itulah sebabnya Anda harus selalu menguji metode Anda terhadap tolok ukur yang sangat sederhana ini.

Kutipan dari George Athanosopoulos dan Rob Hyndman (yang ahli dalam bidang ini):

Beberapa metode perkiraan sangat sederhana dan sangat efektif.

Perhatikan bagaimana mereka secara eksplisit mengatakan bahwa mereka akan menggunakan beberapa metode yang sangat sederhana sebagai tolok ukur.

Bahkan, seluruh buku teks online terbuka gratis mereka tentang peramalan sangat dianjurkan.

EDIT: Salah satu ukuran kesalahan ramalan yang diterima lebih baik, Mean Absolute Scaled Error (MASE) oleh Hyndman & Koehler (lihat juga di sini ) mengukur seberapa besar perkiraan yang diberikan meningkat pada ramalan jalan acak (dalam-sampel) yang berjalan naif: jika MASE <1, perkiraan Anda lebih baik daripada jalan acak dalam sampel. Anda akan mengharapkan ini menjadi ikatan yang mudah dikalahkan, bukan?

Tidak demikian: kadang-kadang, bahkan yang terbaik dari beberapa metode peramalan standar seperti ARIMA atau ETS hanya akan menghasilkan MASE sebesar 1,38, yaitu, lebih buruk (di luar sampel) daripada ramalan berjalan acak (dalam-sampel). Ini cukup membingungkan untuk menghasilkan pertanyaan di sini. (Pertanyaan itu bukan duplikat dari yang ini, karena MASE membandingkan akurasi out-of-sample dengan akurasi in-sample metode naif, tetapi juga mencerahkan untuk pertanyaan saat ini.)