Apa fungsi kerugian yang harus digunakan untuk mendapatkan classifier biner yang presisi atau tinggi?

11

Saya mencoba membuat detektor objek yang sangat jarang terjadi (dalam gambar), berencana untuk menggunakan classifier biner CNN yang diterapkan pada jendela geser / ukuran. Saya telah membangun pelatihan 1: 1 positif-negatif yang seimbang dan set tes (apakah itu hal yang benar untuk dilakukan dalam kasus seperti itu?), Dan classifier baik-baik saja pada set tes dalam hal akurasi. Sekarang saya ingin mengontrol recall / ketepatan classifier saya jadi, misalnya, itu tidak akan salah melabeli terlalu banyak kejadian kelas mayoritas.

Solusi yang jelas (bagi saya) adalah dengan menggunakan kerugian logistik yang sama yang digunakan sekarang, tetapi kesalahan berat tipe I dan tipe II berbeda dengan mengalikan kehilangan dalam salah satu dari dua kasus pada beberapa konstanta, yang dapat disetel. Apakah tepat?

PS Setelah dipikir-pikir ini setara dengan menimbang beberapa sampel pelatihan lebih banyak daripada yang lain. Hanya menambahkan lebih dari satu kelas akan mencapai hal yang sama menurut saya.

— Dzugaru
sumber

apakah kamu pernah menyelesaikan ini? Saya memiliki tujuan yang sama. Saya ingin mengoptimalkan presisi (tipe 1), dan tidak terlalu peduli dengan kesalahan tipe 2, jadi telah mempertimbangkan apa yang dapat dilakukan sehubungan dengan fungsi kerugian.

— Jonathan Shore

6

Membangun set pelatihan seimbang secara artifisial masih bisa diperdebatkan, cukup kontroversial. Jika Anda melakukannya, Anda harus memverifikasi secara empiris bahwa itu benar-benar berfungsi lebih baik daripada membiarkan set pelatihan tidak seimbang. Menyeimbangkan test set secara artifisial hampir tidak pernah merupakan ide yang baik. Set tes harus mewakili titik data baru saat mereka masuk tanpa label. Anda berharap mereka tidak seimbang, jadi Anda perlu tahu apakah model Anda dapat menangani tes-set yang tidak seimbang. (Jika Anda tidak mengharapkan catatan baru tidak seimbang, mengapa semua catatan Anda yang ada tidak seimbang?)

Mengenai metrik kinerja Anda, Anda akan selalu mendapatkan apa yang Anda minta. Jika akurasi bukan yang Anda butuhkan terutama dalam set yang tidak seimbang, karena tidak hanya kelas tetapi juga biaya kesalahan klasifikasi tidak seimbang, maka jangan menggunakannya. Jika Anda telah menggunakan akurasi sebagai metrik dan melakukan semua pemilihan model dan penyetelan hyperparameter dengan selalu mengambil yang dengan akurasi terbaik, Anda mengoptimalkan akurasi.

Saya menganggap kelas minoritas sebagai kelas positif, ini adalah cara konvensional penamaan mereka. Dengan demikian ketepatan dan daya ingat seperti yang dibahas di bawah ini adalah ketepatan dan daya ingat dari kelas minoritas.

Jika satu-satunya hal penting adalah mengidentifikasi semua catatan kelas minoritas, Anda bisa mengingat. Dengan demikian Anda menerima lebih banyak positif palsu.
Mengoptimalkan hanya presisi akan menjadi ide yang sangat aneh. Anda akan memberi tahu classifier Anda bahwa tidak masalah untuk mendeteksi kelas minoritas. Cara termudah untuk memiliki presisi tinggi adalah menjadi terlalu berhati-hati dalam mendeklarasikan kelas minoritas.
Jika Anda membutuhkan ketelitian dan daya ingat, Anda bisa mengambil ukuran-F. Ini adalah rata-rata harmonik antara presisi dan daya ingat dan dengan demikian menghukum hasil di mana kedua metrik berbeda.
Jika Anda tahu biaya kesalahan klasifikasi yang konkret di kedua arah (dan keuntungan dari klasifikasi yang benar jika berbeda per kelas), Anda dapat menempatkan semua itu dalam fungsi kerugian dan mengoptimalkannya.

— David Ernst
sumber

3

Anda membuat beberapa asumsi. Yang terbaik adalah memikirkan tujuan akhir secara umum, kemudian merumuskan strategi yang memenuhi tujuan itu. Misalnya apakah Anda benar-benar memerlukan klasifikasi pilihan-paksa dan apakah rasio sinyal: noise cukup besar untuk mendukungnya (contoh yang baik: pengenalan suara dan gambar)? Atau sinyal: rasio kebisingan rendah atau Anda tertarik pada kecenderungan ? Untuk yang terakhir, estimasi risiko adalah untuk Anda. Pilihannya adalah kunci dan menentukan metrik akurasi prediksi yang Anda pilih. Untuk pemikiran lebih lanjut tentang ini, lihat http://www.fharrell.com/2017/01/classification-vs-prediction.html dan http://www.fharrell.com/2017/03/damage-caus----classification .html .

Sebagian besar masalah menyangkut pengambilan keputusan , dan keputusan optimal berasal dari estimasi risiko ditambah dengan fungsi kerugian / biaya / utilitas.

Salah satu aspek terbaik dari pendekatan estimasi risiko (probabilitas) adalah bahwa ia menangani zona abu-abu di mana itu akan menjadi kesalahan untuk membuat klasifikasi atau keputusan tanpa memperoleh lebih banyak data. Dan kemudian ada fakta bahwa estimasi probabilitas tidak memerlukan (bahkan tidak memungkinkan) seseorang untuk "menyeimbangkan" hasil dengan memanipulasi sampel secara artifisial.

— Frank Harrell
sumber

1

\sum_{j = 1}^{J} \log {1 + \exp [- f (x_{j})]} + \sum_{k = 1}^{K} \log {1 + \exp [f (x_{k})]}

$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^K\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$

j

$j$

k

$k$

f (\cdot)

$f(\cdot)$

x

$x$

\sum_{j = 1}^{J} \log {1 + \exp [- f (x_{j})]} + \sum_{k = 1}^{K} w \log {1 + \exp [f (x_{k})]}

$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^Kw\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$

w > 1

$w>1$

w

$w$

w = 2

$w=2$

— Travis Gerke
sumber

Tapi itu tidak lagi menjadi penduga kemungkinan maksimum - statistik tidak-tidak

— Frank Harrell

1

Setuju, tapi saya tidak yakin bahwa itu penting jika inferensi statistik pada parameter dalam regresi logistik bukan tujuan yang diinginkan (OP menyebutkan penggunaan CNN juga tidak berbasis ML). Memang, sebagian besar / semua keluaran inferensial dari pendekatan tertimbang ini sebaiknya diabaikan, tetapi model dan skor risiko yang dihasilkan masih dapat diterapkan pada set validasi dengan hasil yang diinginkan, misalnya diskriminasi / kalibrasi yang baik.

— Travis Gerke

1

Tidak, Anda akan mengganggu kalibrasi model dan akan mendapatkan perkiraan parameter yang lebih berisik dengan pendekatan di atas. MLE ada karena beberapa alasan yang sangat bagus.

— Frank Harrell

Pertimbangkan kasus sepele yang sangat khawatir tentang kesalahan klasifikasi satu arah, tetapi tidak yang lain - yaitu nol kerugian untuk salah satu arah. Model terbaik untuk kerugian itu hanya akan memprediksi kelas yang menjadi perhatian. Meskipun itu akan menjadi model yang mengerikan, tujuannya tercapai. Penting untuk memahami tujuan dan tidak menaruh kepercayaan buta pada konsep teoretis (MLE) tanpa memahami tujuannya. Seperti dicatat oleh TravisGerke, jika penekanannya pada prediksi daripada pemodelan, maka pendekatannya cukup berguna. Ini tentu lebih baik daripada downsampling kelas mayoritas.

— Statseeker