Kapan aturan penilaian yang tepat merupakan estimasi generalisasi yang lebih baik dalam pengaturan klasifikasi?

Pendekatan khas untuk memecahkan masalah klasifikasi adalah mengidentifikasi kelas model kandidat, dan kemudian melakukan pemilihan model menggunakan beberapa prosedur seperti validasi silang. Biasanya seseorang memilih model dengan akurasi tertinggi, atau beberapa fungsi terkait yang menyandikan informasi spesifik masalah, seperti . $\text{F}_\beta$

Dengan asumsi tujuan akhir adalah untuk menghasilkan classifier yang akurat (di mana definisi akurasi lagi, tergantung masalah), dalam situasi apa lebih baik melakukan pemilihan model menggunakan aturan penilaian yang tepat sebagai lawan dari sesuatu yang tidak tepat, seperti akurasi, presisi, penarikan kembali , dll? Lebih jauh, mari kita abaikan masalah kompleksitas model dan anggap apriori kita anggap semua model sama-sama berpeluang.

Sebelumnya saya akan mengatakan tidak pernah. Kita tahu, dalam pengertian formal, klasifikasi adalah masalah yang lebih mudah daripada regresi [1], [2] dan kita dapat memperoleh batasan yang lebih ketat untuk yang pertama daripada yang belakangan ( ). Selain itu, ada beberapa kasus ketika mencoba untuk mencocokkan probabilitas secara akurat dapat menghasilkan batas keputusan yang salah atau overfitting . Namun, berdasarkan percakapan di sini dan pola pemungutan suara masyarakat sehubungan dengan masalah tersebut, saya telah mempertanyakan pandangan ini. $*$

Devroye, Luc. Teori probabilistik pengenalan pola. Vol. 31. springer, 1996., Bagian 6.7
Kearns, Michael J., dan Robert E. Schapire. Pembelajaran bebas distribusi yang efisien dari konsep-konsep probabilistik. Yayasan Ilmu Komputer, 1990. Prosiding., Simposium Tahunan ke-31 pada. IEEE, 1990.

$(*)$ Pernyataan ini mungkin sedikit ceroboh. Secara khusus saya maksudkan bahwa diberi data berlabel dari bentuk $S = \{(x_1, y_1), \ldots, (x_n, y_n)\}$ dengan $x_i \in \mathcal{X}$ dan $y_i \in \{1, \ldots, K\}$ , tampaknya lebih mudah untuk memperkirakan batas keputusan daripada secara akurat memperkirakan probabilitas bersyarat.

— alto
sumber

Anggap ini sebagai perbandingan antara uji -test / Wilcoxon dan tes median Mood. Tes median menggunakan klasifikasi optimal (di atas atau di bawah median untuk variabel kontinu) sehingga hanya kehilangan dari informasi dalam sampel. Dikotomisasi pada titik yang berbeda dari median akan kehilangan lebih banyak informasi. Menggunakan aturan penilaian yang tidak tepat seperti proporsi yang diklasifikasikan "benar" paling banyak atau tentang efisien. Ini menghasilkan pemilihan fitur yang salah dan menemukan model yang palsu. $t$ $\frac{1}{\pi}$ $\frac{2}{\pi}$ $\frac{2}{3}$

— Frank Harrell
sumber

Saya kira saya tidak mengerti mengapa dikotomisasi itu relevan. Pada akhirnya tujuannya adalah untuk memilih classifier dari beberapa kelas hipotesis sehingga minimal, diberikan beberapa sampel hingga terdiri dari contoh yang didistribusikan sesuai dengan .

h

$h$

H

$H$

P_{(x, y) \sim D} (h (x) \neq y)

$P_{(x,y) \sim D}(h(x) \neq y)$

S

$S$

D

$D$

— alto

Masalahnya adalah bahwa klasifikasi (berlawanan dengan prediksi risiko) adalah dikotomisasi yang tidak perlu.

— Frank Harrell

Jadi apakah aman untuk mengasumsikan jawaban untuk pertanyaan ini tidak pernah, asalkan tujuannya adalah pengambilan keputusan yang optimal sehubungan dengan beberapa fungsi utilitas dan tidak secara akurat mencocokkan probabilitas?

— alto

Keputusan optimal Bayes membutuhkan risiko yang diperkirakan terkalibrasi dengan baik sehingga keduanya terkait. Keputusan optimal tidak menggunakan dikotomisasi yang dibuat sebelumnya dalam pipa tetapi kondisi pada informasi lengkap, misalnya, bukan .

P r o b (Y = 1 | X = x)

$Prob(Y = 1 | X=x)$

P r o b (Y = 1 | X > c)

$Prob(Y=1 | X > c)$

— Frank Harrell

Diskusi yang bagus. Dalam beberapa kasus dengan beberapa pendeteksi spam, Anda bisa mendapatkan 'tidak pasti'. Saya lebih peduli dengan ambang batas dalam masalah seperti diagnosis medis dan prognosis.

— Frank Harrell