Bandingkan pengklasifikasi berdasarkan AUROC atau akurasi?

11

Saya memiliki masalah klasifikasi biner dan saya mencoba berbagai pengklasifikasi di dalamnya: Saya ingin membandingkan pengklasifikasi. mana yang merupakan ukuran AUC atau akurasi yang lebih baik? Dan mengapa?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— Sina
sumber

13

Proporsi yang diklasifikasi dengan benar adalah aturan penilaian yang tidak tepat, yaitu dioptimalkan oleh model palsu. Saya akan menggunakan aturan penilaian yang tepat kuadratik yang dikenal sebagai skor Brier, atau probabilitas konkordansi (area di bawah kurva ROC dalam kasus biner ). Hutan acak bekerja lebih baik daripada SVM dalam kasus Anda. $Y$

— Frank Harrell
sumber

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$

g (y_{i}, x_{i})

$g(y_i,x_i)$

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

8

Saya pikir Anda pasti harus melihat ke metrik lebih dari sekadar AUC dan akurasi.

Akurasi (bersama-sama dengan sensitivitas dan spesifisitas) adalah metrik yang sangat sederhana namun bias yang memaksa Anda untuk melihat hasil prediksi absolut dan tidak terbuka untuk pernyataan probabilitas kelas atau peringkat. Ini juga tidak memperhitungkan populasi yang mengundang salah tafsir sebagai model yang memberikan keakuratan 95% pada populasi dengan peluang 95% untuk menjadi benar secara acak bukanlah model yang baik, walaupun akurasinya tinggi.

AUC adalah metrik yang baik untuk menyatakan akurasi model yang tidak tergantung pada probabilitas kelas populasi. Namun, itu tidak akan memberi tahu Anda apa pun tentang seberapa baik estimasi probabilitas yang sebenarnya. Anda bisa mendapatkan AUC tinggi tetapi masih memiliki estimasi probabilitas yang sangat miring. Metrik ini lebih membedakan daripada keakuratan dan pasti akan memberi Anda model yang lebih baik bila digunakan bersama dengan beberapa aturan penilaian yang tepat, misalnya skor Brier seperti yang disebutkan di pos lain.

Anda bisa mendapatkan bukti yang lebih formal di sini, meskipun makalah ini cukup teoretis: AUC: Ukuran yang Konsisten Secara Statistik dan Lebih Diskriminasi daripada Akurasi

Namun ada banyak metrik yang baik tersedia. Fungsi Kehilangan untuk Estimasi Probabilitas Kelas Binary dan Klasifikasi: Struktur dan Aplikasi adalah makalah yang baik menyelidiki aturan penilaian yang tepat seperti skor Brier.

Makalah lain yang menarik dengan metrik untuk pernyataan kinerja model adalah Evaluasi: dari ketepatan, penarikan dan pengukuran-F hingga ROC, informasi, ketajaman & korelasi yang menggunakan metrik kinerja baik lainnya seperti informasi.

Untuk meringkas saya akan merekomendasikan melihat skor AUC / Gini dan Brier untuk menyatakan Anda model kinerja, tetapi tergantung pada tujuan dengan model Anda metrik lain mungkin cocok dengan masalah Anda lebih baik.

— sementara
sumber

Tautan untuk Evaluasi: mulai dari presisi, penarikan dan pengukuran-F hingga ROC, informasi, ketandaan & korelasi sudah mati

— vonjd

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

Tidak ada brierscore tidak bagus untuk metode yang hanya memberi Anda hasil dan bukan probabilitas. Meskipun Niether auc karena ini akan memberi tahu Anda seberapa baik Anda peringkat prediksi Anda. Dengan hanya hasil Anda hanya akan mendapatkan titik di ruang ROC maka memberi Anda area di bawah kurva akan menjadi segitiga. Tapi itu masih akan memberi Anda nomor dan akan tetapi brierscore meskipun akan lebih atau kurang berubah menjadi 0-1 kerugian. Jika Anda hanya memiliki hasil, saya sarankan melihat Precision, Recall, dan Cohen Kappa yang merupakan metrik yang dirancang ketika Anda memiliki hasil.

— sedangkan