Bagaimana cara mengukur akurasi perkiraan probabilistik?

Misalkan saya membuat banyak ramalan probabilistik seperti:

70% probabilitas bahwa pertumbuhan penjualan akan menjadi 10-15% pada Q1, probabilitas 10% bahwa pertumbuhan penjualan akan> 15%, probabilitas 20% bahwa pertumbuhan penjualan akan <10%

Mengingat data aktual, apa cara terbaik untuk mengukur atau melacak akurasi saya? Skor penghalang?

Dan dapatkah saya meratakan skor Brier untuk berbagai jenis prakiraan? (mis. Temukan skor batas untuk prediksi "ada kemungkinan 80% hujan" dan rata-rata dengan perkiraan pertumbuhan penjualan)

forecasting scoring-rules

— Emile
sumber

Saya ragu untuk menggunakan skor Brier untuk hasil ordinal dengan 3+ kategori seperti di sini di mana penjualan dapat diklasifikasikan sebagai rendah / sedang / tinggi. Skor Brier memperlakukan setiap hasil sebagai setara dari yang lain.

— RobertF

Apakah data Anda pada dasarnya bersifat ordinal, seperti yang diasumsikan oleh @RobertF? Jika demikian, ini menambah kompleksitas, saat ia menulis, dan alangkah baiknya jika Anda dapat mengedit ini ke dalam posting Anda. Jika tidak, Anda dapat menggunakan aturan penilaian yang tepat , seperti Brier atau lainnya. Dan ya, Anda bisa meratakannya.

— Stephan Kolassa

Saya percaya contoh saya menggunakan data ordinal, tetapi saya tidak mengerti apa yang Anda maksud dengan "inherinal ordinal". Namun, saya bisa mengubah perkiraan saya menjadi hanya pertumbuhan penjualan 12%. Jika demikian saya akan menggunakan sesuatu seperti MAE? Tapi alasan saya memasukkan probabilitas adalah untuk memperhitungkan variabilitas dan kejadian langka. Misalnya, pertumbuhan penjualan yang diharapkan dari perkiraan saya bisa 12%, tetapi mungkin ada kemungkinan kecil pertumbuhan penjualan negatif. Meskipun tidak mungkin terjadi, mungkin berharga untuk mengetahui kemungkinan pertumbuhan penjualan negatif. Jadi saya ingin mencerminkan hal itu dalam ramalan saya.

— Emile

Dengan "secara inheren ordinal", saya maksudkan apakah masalah mendasar Anda bersifat ordinal, atau apakah contoh yang Anda gunakan kebetulan bersifat ordinal. Rupanya, itu yang pertama.

— Stephan Kolassa

Komentar Anda terdengar seolah-olah Anda benar-benar mencari perkiraan kepadatan daripada perkiraan poin, yaitu, Anda ingin meramalkan distribusi probabilitas penuh dari hasil mendatang. Ini ide yang sangat bagus. Peramalan kepadatan adalah umum dalam peramalan keuangan atau ekonometrik, tetapi sayangnya itu jarang dirawat di buku pelajaran dan kursus peramalan lainnya. Tay & Wallis (2000, Journal of Forecasting ) memberikan survei awal yang bermanfaat.

Cara paling umum untuk mengevaluasi perkiraan kepadatan menggunakan Probability Integral Transform (PIT). Referensi kanonik adalah Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Jurnal Bisnis & Statistik Ekonomi ) dan Bao, Lee & Saltoglu (2007, Jurnal Peramalan ) memberikan alternatif.

Baru-baru ini, minat meningkat dalam aturan penilaian (yang tepat) , seperti skor Brier yang Anda sebutkan. Sastra termasuk Mitchell & Wallis (2011, Journal of Applied Econometrics ) dan Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Akhirnya, Gneiting & Katzfuss (2014, Tinjauan Tahunan Statistik dan Penerapannya ) memberikan gambaran terkini tentang perkiraan (atau kemungkinan) peramalan, dengan fokus kembali pada aturan penilaian.

— Stephan Kolassa
sumber

Bisakah Anda menjelaskan, dalam istilah awam, metode yang paling tepat untuk membuat perkiraan kepadatan dan aturan penilaian yang paling tepat untuk contoh saya. Atau Anda bisa menunjuk ke sebuah artikel / buku. Saya kira apa yang saya tanyakan adalah resep: langkah-langkah untuk membuat ramalan kepadatan / probabilitas, kemudian beberapa langkah lain untuk mengevaluasi keakuratan ramalan individu dan / atau ganda. Dan idealnya saya bisa melakukan perhitungan dengan kalkulator reguler (tanpa software khusus). Jika diperlukan beberapa integral, perkiraan seperti apa yang bisa saya buat untuk menyederhanakan persamaan. Mencari sesuatu yang bisa saya lakukan "belakang amplop".

— Emile

Saya ingin sekali membaca koran-koran itu, tetapi terus terang semuanya berada di atas kepala saya.

— Emile

Ah. Saya akan merekomendasikan Anda melihat ke dalam buku teks peramalan standar, misalnya, Ord & Fildes, Prinsip Peramalan Bisnis , bagian 5.2 dan lain-lain, di mana interval prediksi dihitung menggunakan pendekatan distribusi normal. Hyndman & Athanosopoulos sayangnya tidak mencakup perkiraan kepadatan. Mengenai aturan penilaian, saya tidak berpikir ada yang jelas "terbaik" dalam kasus Anda - pilih saja yang dapat Anda implementasikan dengan mudah. Namun, Anda mungkin paling tidak membutuhkan tabel distribusi normal, jadi akan lebih baik jika Anda melihat R ....

— Stephan Kolassa

... Hyndman & Athanasopoulos melakukan segalanya dengan R, jadi buku mereka berfungsi sebagai pengantar ramalan yang bagus menggunakan R. Selamat mencoba!

— Stephan Kolassa