Mengapa menggunakan ukuran kesalahan ramalan tertentu (mis. MAD) dan bukan yang lain (mis. MSE)?

MAD = Mean Deviasi Absolut MSE = Mean Squared Error

Saya telah melihat saran dari berbagai tempat bahwa MSE digunakan walaupun ada beberapa kualitas yang tidak diinginkan (mis. Http://www.stat.nus.edu.sg/~staxyc/T12.pdf , yang menyatakan pada hal. 8 "Biasanya dipercaya bahwa MAD adalah kriteria yang lebih baik daripada MSE. Namun, secara matematis MSE lebih nyaman daripada MAD. ")

Apakah ada yang lebih dari itu? Apakah ada makalah yang secara menyeluruh menganalisis situasi di mana berbagai metode pengukuran kesalahan ramalan lebih / kurang tepat? Pencarian google saya belum mengungkapkan apa pun.

Pertanyaan serupa dengan ini ditanyakan di /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , dan pengguna diminta untuk memposting di stats.stackexchange.com, tapi saya rasa mereka tidak pernah melakukannya.

Untuk memutuskan ukuran perkiraan kesalahan titik mana yang akan digunakan, kita perlu mengambil langkah mundur. Perhatikan bahwa kita tidak tahu hasil di masa depan dengan sempurna, juga tidak akan pernah. Jadi hasil masa depan mengikuti distribusi probabilitas . Beberapa metode peramalan secara eksplisit menghasilkan distribusi penuh, dan beberapa tidak - tetapi selalu ada, jika hanya secara implisit.

Sekarang, kami ingin memiliki ukuran kesalahan yang baik untuk perkiraan titik . Seperti titik meramalkan $F_t$ adalah upaya kami untuk meringkas apa yang kita ketahui tentang distribusi masa depan (yaitu, distribusi prediksi) pada waktu $t$ menggunakan satu nomor, yang disebut fungsional dari kepadatan masa depan. Ukuran kesalahan kemudian adalah cara untuk menilai kualitas ringkasan angka tunggal ini.

Jadi, Anda harus memilih ukuran kesalahan yang memberi hadiah "baik" ringkasan nomor satu (tidak diketahui, mungkin diperkirakan, tetapi mungkin hanya tersirat) kepadatan masa depan.

Tantangannya adalah bahwa ukuran kesalahan yang berbeda diminimalkan oleh fungsi yang berbeda. MSE yang diharapkan diminimalkan oleh nilai yang diharapkan dari distribusi di masa depan. MAD yang diharapkan diminimalkan dengan median distribusi masa depan. Jadi, jika Anda mengkalibrasi prakiraan Anda untuk meminimalkan MAE, prakiraan titik Anda akan menjadi median masa depan, bukan nilai yang diharapkan di masa depan, dan prakiraan Anda akan menjadi bias jika distribusi masa depan Anda tidak simetris.

Ini paling relevan untuk data jumlah, yang biasanya miring. Dalam kasus ekstrem (misalnya, Poisson mendistribusikan penjualan dengan rata-rata di bawah $\log 2\approx 0.69$ ), MAE Anda akan menjadi terendah untuk perkiraan nol datar. Lihat di sini atau di sini atau di sini untuk detailnya.

Saya memberikan beberapa informasi dan ilustrasi dalam Apa saja kekurangan Kesalahan Persentase Absolut Rata-Rata (MAPE)? Utas itu mempertimbangkan mape , tetapi juga tindakan kesalahan lainnya, dan berisi tautan ke utas terkait lainnya.

Pada akhirnya, ukuran kesalahan yang digunakan benar-benar tergantung pada Biaya Kesalahan Prakiraan, yaitu jenis kesalahan apa yang paling menyakitkan. Tanpa melihat implikasi aktual kesalahan ramalan, setiap diskusi tentang "kriteria yang lebih baik" pada dasarnya tidak ada artinya.

Ukuran akurasi ramalan adalah topik besar di komunitas ramalan beberapa tahun yang lalu, dan mereka masih muncul sekarang dan kemudian. Satu artikel yang sangat bagus untuk dilihat adalah Hyndman & Koehler "Pandangan lain tentang ukuran akurasi prakiraan" (2006).

Akhirnya, salah satu alternatif adalah menghitung kepadatan prediksi penuh dan menilai ini menggunakan aturan penilaian yang tepat .

Keuntungan menggunakan MAE daripada MSE dijelaskan dalam Davydenko dan Fildes (2016) , lihat Bagian 3.1:

... Beberapa penulis (misalnya, Zellner, 1986) berpendapat bahwa kriteria yang dengannya kami mengevaluasi prakiraan harus sesuai dengan kriteria yang digunakan untuk mengoptimalkan prakiraan. Dengan kata lain, jika kita mengoptimalkan perkiraan menggunakan beberapa fungsi kerugian yang diberikan, kita harus menggunakan fungsi kerugian yang sama untuk evaluasi empiris untuk mengetahui model mana yang lebih baik.

Menyesuaikan model statistik biasanya memberikan perkiraan yang optimal di bawah kerugian kuadratik. Ini, misalnya, terjadi ketika kita cocok dengan regresi linier. Jika ramalan kepadatan kami dari pemodelan statistik simetris, maka ramalan optimal di bawah kerugian kuadratik juga optimal di bawah kerugian linear. Tetapi, jika kita menstabilkan varians dengan log-transformasi dan kemudian mengubah perkiraan kembali dengan eksponensial, kita mendapatkan perkiraan yang optimal hanya di bawah kehilangan linear. Jika kita menggunakan kerugian lain, pertama-tama kita harus mendapatkan perkiraan kepadatan menggunakan model statistik, dan kemudian menyesuaikan perkiraan kita dengan fungsi kerugian spesifik kita (lihat contoh melakukan hal ini di Goodwin, 2000).

Mari kita asumsikan kita ingin membandingkan dua metode secara empiris dan mencari tahu metode mana yang lebih baik dalam hal kehilangan linear simetris (karena jenis kerugian ini biasanya digunakan dalam pemodelan). Jika kita hanya memiliki satu deret waktu, tampaknya wajar untuk menggunakan mean absolute error (MAE). Juga, MAE menarik karena mudah dimengerti dan dihitung (Hyndman, 2006) ...

Referensi

Davydenko, A., & Fildes, R. (2016). Tindakan Kesalahan Prakiraan: Tinjauan Kritis dan Rekomendasi Praktis. Dalam Peramalan Bisnis: Masalah dan Solusi Praktis. John Wiley & Sons

$RMSE = \sqrt{MSE}$$MAE = MAD$

Sebenarnya,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• upper bound: a single case having error $e$ while all other cases have 0 error:
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

($MAE \leq RMSE \leq \sqrt{MAE}$ for classification with partial class memberships $y_i$ and/or $\hat y_i$ are $\in [0, 1]$ -- i.e. they can actually take values in between 0 and 1).

• upper bound: here, $e_i$ is $\leq 1$, so
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  (This upper bound occurs for integer $n_{wrong}$, if you go for partial/fractional class membership and thus also for $e_i \in [0, 1]$, things get a bit more complicated because you need to take into account that the maximum possible error can be less than 1, and you may have a "leftover" $e_i < 1$ which both lower the upper bound a bit further.)

If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.