Mengapa ingat tidak memperhitungkan negatif sebenarnya?

Mengapa ingat tidak memperhitungkan negatif sebenarnya? Dalam eksperimen di mana negatif sejati sama pentingnya dengan positif sejati, apakah metrik mereka yang sebanding memperhitungkannya?

precision-recall

— Raffi Khatchadourian
sumber

Saya pikir True Negative Rate (juga disebut spesifisitas di pengaturan lain) adalah yang Anda cari, tetapi lihat en.wikipedia.org/wiki/Precision_and_recall .

— chl

Ingat (dalam kombinasi dengan presisi) umumnya digunakan di daerah-daerah di mana orang terutama tertarik untuk menemukan Positif. Contoh untuk bidang tersebut adalah misalnya Pemasaran Kinerja atau (seperti yang telah disarankan oleh tautan ch'ls) bidang Pengambilan Informasi.

Begitu:

Jika Anda terutama tertarik untuk menemukan yang negatif, "True Negative Rate" (seperti yang sudah disarankan oleh chl) adalah jalan yang harus ditempuh. Tapi jangan lupa untuk melihat "presisi untuk fokus pada negatif" -metrik (yaitu , karena jika tidak, "True Negative Rate" dapat dioptimalkan dengan menetapkan prediksi ke "Negatif" untuk semua titik data). $\frac{TN}{TN + FN}$

Jika Anda tertarik untuk mengoptimalkan penarikan untuk negatif dan positif, Anda harus melihat "Akurasi" (lihat lagi tautan chl). Namun waspadalah terhadap kemiringan kelas (yaitu Anda memiliki banyak lebih banyak hal positif daripada negatif atau sebaliknya ... dalam hal ini seseorang dapat "mengoptimalkan" keakuratan dengan mengatur prediksi ke kelas utama untuk semua titik data).

— steffen
sumber

Terima kasih atas jawaban untuk pertanyaan saya. Saya memang tertarik untuk mengoptimalkan, baik negatif maupun positif. Dalam kasus ini, tampaknya keakuratan adalah jalan yang harus ditempuh karena mempertimbangkan tp, fp, tn, dan fn. Namun, seperti yang Anda sebutkan di atas, saya harus mengetahui kemiringan kelas. Jadi, haruskah saya menyajikan akurasi di samping metrik lain untuk mengatasi ini? Terima kasih lagi!

— Raffi Khatchadourian

@Raffi: Anda bisa menambahkan rasio contoh kelas kecil yang diklasifikasi dengan benar (masing-masing yaitu tingkat presisi atau negatif sebenarnya). Namun, saya pikir itu sudah cukup bahwa Anda menyatakan kesadaran Anda tentang masalah ini dan Anda memeriksa bahwa model tersebut tidak hanya memprediksi kelas utama. Tapi ini hanya pendapat saya saja.

— steffen

Terima kasih! Saya pikir saya akan pergi ke rute itu, yaitu, akurasi saat ini dan bahwa model tidak memprediksi hanya kelas utama.

— Raffi Khatchadourian