Memilih antara fungsi yang hilang untuk klasifikasi biner

Saya bekerja di domain masalah di mana orang sering melaporkan ROC-AUC atau AveP (presisi rata-rata). Namun, saya baru-baru ini menemukan makalah yang mengoptimalkan Kehilangan Log , sementara yang lain melaporkan Kehilangan Engsel .

Sementara saya mengerti bagaimana metrik ini dihitung, saya mengalami kesulitan memahami trade-off antara mereka dan mana yang baik untuk apa sebenarnya.

Ketika datang ke ROC-AUC vs Precision-Recall, utas ini membahas bagaimana maksimalisasi ROC-AUC dapat dilihat sebagai menggunakan kriteria optimasi kerugian yang menghukum "peringkat negatif sejati setidaknya sebesar positif positif" (dengan asumsi bahwa lebih tinggi skor sesuai dengan positif). Selain itu, utas lainnya ini juga menyediakan diskusi bermanfaat tentang ROC-AUC berbeda dengan metrik Precision-Recall .

Namun, untuk jenis masalah apa log loss lebih disukai daripada, katakanlah, ROC-AUC , AveP atau Hinge loss ? Yang paling penting, jenis pertanyaan apa yang harus ditanyakan tentang masalah ketika memilih antara fungsi-fungsi kerugian untuk klasifikasi biner?

Referensi mutakhir tentang masalah ini adalah [1]. Pada dasarnya, ini menunjukkan bahwa semua fungsi kerugian yang Anda tentukan akan menyatu dengan pengklasifikasi Bayes, dengan laju cepat.

Memilih antara ini untuk sampel terbatas dapat didorong oleh beberapa argumen yang berbeda:

1. Jika Anda ingin memulihkan probabilitas peristiwa (dan bukan hanya klasifikasi), maka log-loss logistic, atau model linear umum lainnya (Regresi Probit, regresi log komplementer-log, ...) adalah kandidat alami.
2. Jika Anda hanya bertujuan pada klasifikasi, SVM mungkin menjadi pilihan yang lebih disukai, karena hanya menargetkan pengamatan di buondary klasifikasi, dan mengabaikan pengamatan jarak jauh, sehingga mengurangi dampak kebenaran dari model linier yang diasumsikan.
3. Jika Anda tidak memiliki banyak pengamatan, maka keuntungan dalam 2 mungkin merugikan.
4. Mungkin ada perbedaan komputasi: baik dalam masalah optimasi yang dinyatakan, dan dalam implementasi tertentu yang Anda gunakan.
5. Intinya - Anda bisa mencoba semuanya dan memilih pemain terbaik.

[1] Bartlett, Peter L, Michael I Jordan, dan Jon D McAuliffe. "Cembung, Klasifikasi, dan Batas Risiko." Jurnal Asosiasi Statistik Amerika 101, no. 473 (Maret 2006): 138–56. doi: 10.1198 / 016214505000000907.