Memilih di antara aturan penilaian yang tepat

Sebagian besar sumber daya pada aturan penilaian yang tepat menyebutkan sejumlah aturan penilaian yang berbeda seperti log-loss, Brier score atau spherical scoring. Namun, mereka sering tidak memberikan banyak panduan tentang perbedaan di antara mereka. (Bukti A: Wikipedia .)

Memilih model yang memaksimalkan skor logaritmik sesuai dengan memilih model maksimum-likelihood, yang sepertinya argumen yang bagus untuk menggunakan penilaian logaritmik. Apakah ada pembenaran serupa untuk Brier atau penilaian bola, atau aturan penilaian lainnya? Mengapa seseorang menggunakan salah satu dari ini daripada penilaian logaritmik?

Mengapa seseorang menggunakan salah satu dari ini daripada penilaian logaritmik?

Jadi idealnya, kami selalu membedakan pemasangan model dari membuat keputusan . Dalam metodologi Bayesian, penilaian model & seleksi harus selalu dilakukan dengan menggunakan kemungkinan marginal . Anda kemudian menggunakan model untuk membuat prediksi probabilistik, dan fungsi kerugian Anda memberi tahu Anda bagaimana untuk menindaklanjuti prediksi tersebut.

Sayangnya di dunia nyata, kinerja komputasi sering menentukan bahwa kita mengacaukan pemilihan model dan pengambilan keputusan dan karenanya menggunakan fungsi kerugian agar sesuai dengan model kami. Di sinilah subjektivitas dalam pemilihan model merayap masuk, karena Anda harus menebak berapa banyak jenis kesalahan akan dikenakan biaya. Contoh klasiknya adalah diagnostik untuk kanker: melebih-lebihkan kemungkinan seseorang terkena kanker tidak baik, tetapi meremehkannya jauh lebih buruk.

Selain itu, jika Anda mencari panduan tentang cara memilih aturan penilaian, Anda mungkin juga ingin mencari panduan tentang memilih fungsi kerugian atau mendesain fungsi utilitas, karena saya pikir literatur tentang kedua topik tersebut sangat banyak. lebih produktif.