Kapan presisi lebih penting daripada penarikan?

Adakah yang bisa memberi saya beberapa contoh di mana presisi itu penting dan beberapa contoh di mana penarikan itu penting?

• Untuk pemodelan data kanker yang jarang terjadi, segala sesuatu yang tidak termasuk negatif palsu adalah kejahatan. Ingat adalah ukuran yang lebih baik daripada presisi.
• Untuk rekomendasi YouTube, false-negative kurang menjadi perhatian. Presisi lebih baik di sini.

Saya bisa memberi Anda kasus saya yang sebenarnya ketika mengingat lebih penting:

Kami memiliki ribuan pelanggan gratis yang mendaftar di situs web kami setiap minggu. Tim pusat panggilan ingin memanggil mereka semua, tetapi itu tidak mungkin, jadi mereka meminta saya untuk memilih mereka yang memiliki peluang bagus untuk menjadi pembeli (dengan suhu tinggi adalah bagaimana kita merujuk mereka). Kami tidak peduli untuk memanggil seorang pria yang tidak akan membeli (jadi presisi tidak penting) tetapi bagi kami sangat penting bahwa mereka semua dengan suhu tinggi selalu dalam pilihan saya, jadi mereka tidak pergi tanpa membeli. Itu berarti bahwa model saya harus memiliki daya ingat yang tinggi , tidak masalah apakah ketepatannya masuk ke neraka.

Saya harap ini membantu! Miguel.

Meskipun dalam beberapa situasi mengingat mungkin lebih penting daripada presisi (atau sebaliknya), Anda perlu keduanya untuk mendapatkan penilaian yang lebih dapat ditafsirkan.

Misalnya, seperti dicatat oleh @SmallChess, di komunitas medis, negatif palsu biasanya lebih berbahaya daripada positif palsu untuk diagnosis awal. Karena itu, orang mungkin menganggap recall sebagai pengukuran yang lebih penting. Namun, Anda dapat memiliki penarikan 100% namun memiliki model yang tidak berguna: jika model Anda selalu menghasilkan prediksi positif, itu akan memiliki penarikan 100% tetapi benar-benar tidak informatif.

Inilah mengapa kami melihat beberapa metrik:

• kurva presisi-ingat
• AUROC
• dan terkadang metrik seperti skor F

Yang lebih penting hanya tergantung pada berapa biaya setiap kesalahan.

Ketepatan cenderung melibatkan biaya langsung; semakin positif salah yang Anda miliki, semakin banyak biaya per positif benar yang Anda miliki. Jika biaya Anda rendah, maka presisi tidak terlalu menjadi masalah. Misalnya, jika Anda memiliki alamat email 1M, dan biayanya $ 10 untuk mengirim email kepada mereka semua, mungkin tidak sepadan dengan waktu Anda untuk mencoba mengidentifikasi orang-orang yang paling mungkin merespons, bukan hanya mengirim spam ke mereka semua.

Ingat, di sisi lain, cenderung melibatkan biaya peluang; Anda melepaskan peluang setiap kali Anda memiliki negatif palsu. Jadi mengingat itu paling tidak penting ketika nilai marjinal dari identifikasi tambahan yang benar kecil, misalnya ada beberapa peluang, ada sedikit perbedaan di antara mereka, dan hanya sejumlah terbatas yang dapat dikejar. Misalnya, Anda ingin membeli apel. Ada 100 apel di toko, dan 10 di antaranya buruk. Jika Anda memiliki metode membedakan apel buruk yang melewatkan 80% apel bagus, maka Anda akan mengidentifikasi sekitar 18 apel baik. Biasanya, penarikan 20% akan mengerikan, tetapi jika Anda hanya menginginkan 5 apel, maka melewatkan 72 apel lainnya tidak terlalu penting.

Jadi mengingat adalah yang paling penting ketika:

-Jumlah peluang kecil (jika hanya ada 10 apel bagus, maka Anda tidak akan menemukan 5 apel bagus dengan tingkat penarikan hanya 20%)
-Ada perbedaan signifikan antara peluang (jika beberapa apel lebih baik dari yang lain , maka tingkat penarikan 20% sudah cukup untuk mendapatkan 5 apel yang baik, tetapi mereka tidak selalu akan menjadi apel terbaik )
ATAU
- Manfaat marjinal peluang tetap tinggi, bahkan untuk sejumlah besar peluang. Misalnya, sementara sebagian besar pembeli tidak akan mendapat banyak manfaat dari lebih dari 18 apel bagus, toko ingin memiliki lebih dari 18 apel untuk dijual.

Dengan demikian, presisi akan lebih penting daripada mengingat ketika biaya akting tinggi, tetapi biaya tidak bertindak rendah. Perhatikan bahwa ini adalah biaya untuk bertindak / tidak bertindak per kandidat, bukan "biaya untuk melakukan tindakan apa pun" versus "biaya tidak melakukan tindakan sama sekali". Dalam contoh apel, ini adalah biaya membeli / tidak membeli apel tertentu, bukan biaya membeli beberapa apel versus biaya tidak membeli apel apa pun; biaya untuk tidak membeli apel tertentu rendah karena ada banyak apel lainnya. Karena biaya membeli apel buruk tinggi, tetapi biaya melewatkan apel baik tertentu rendah, presisi lebih penting dalam contoh itu. Contoh lain akan mempekerjakan ketika ada banyak kandidat serupa.

Ingat kembali lebih penting daripada presisi ketika biaya akting rendah, tetapi biaya peluang untuk melewatkan calon tinggi. Ada contoh spam yang saya berikan sebelumnya (biaya kehilangan alamat email tidak tinggi, tetapi biaya pengiriman email kepada seseorang yang tidak merespons bahkan lebih rendah), dan contoh lain adalah mengidentifikasi kandidat untuk suntikan flu: berikan suntikan flu kepada seseorang yang tidak membutuhkannya, dan biayanya beberapa dolar, jangan berikan kepada seseorang yang memang membutuhkannya, dan mereka bisa mati. Karena itu, rencana perawatan kesehatan umumnya akan menawarkan suntikan flu kepada semua orang, mengabaikan ketepatan sepenuhnya.

Akumulasi memiliki jawaban yang bagus tentang bagaimana Anda dapat menemukan lebih banyak contoh yang menjelaskan pentingnya ketepatan mengingat dan sebaliknya.

Sebagian besar jawaban lain membuat alasan kuat untuk pentingnya mengingat jadi saya pikir saya akan memberikan contoh tentang pentingnya presisi. Ini adalah contoh yang sepenuhnya hipotetis tetapi membuat kasus.

Mari kita katakan bahwa model pembelajaran mesin dibuat untuk memprediksi apakah hari tertentu adalah hari yang baik untuk meluncurkan satelit atau tidak berdasarkan cuaca.

• Jika model secara tidak sengaja memperkirakan bahwa hari yang baik untuk meluncurkan satelit buruk ( false negative ), kami kehilangan kesempatan untuk meluncurkan. Ini bukan masalah besar.

• Namun, jika model memperkirakan bahwa itu adalah hari yang baik, tetapi sebenarnya itu adalah hari yang buruk untuk meluncurkan satelit ( false positive ) maka satelit dapat dihancurkan dan biaya kerusakan akan mencapai miliaran.

Ini adalah kasus di mana presisi lebih penting daripada mengingat.

Saya mengalami kesulitan mengingat perbedaan antara presisi dan daya ingat, sampai saya menemukan mnemonik ini untuk diri saya sendiri:

PREcision adalah untuk tes PREgnancy karena reCALL adalah untuk CALL center.

Dengan tes kehamilan, produsen tes perlu memastikan bahwa hasil positif berarti wanita itu benar-benar hamil. Orang mungkin bereaksi terhadap tes positif dengan tiba-tiba menikah atau membeli rumah (jika banyak konsumen mendapat positif palsu dan menderita biaya besar tanpa alasan, produsen tes akan kekurangan pelanggan). Saya mendapat tes kehamilan negatif palsu satu kali, dan itu hanya berarti perlu beberapa minggu lagi sebelum saya tahu saya hamil ... kebenaran akhirnya menjadi BERBAGAI. (Pun intended.)

Sekarang bayangkan sebuah call center untuk klaim asuransi. Sebagian besar klaim penipuan ditelepon pada hari Senin, setelah penipu terhubung dengan kolaborator dan membuat cerita buatan mereka ("katakanlah mobil itu dicuri") selama akhir pekan. Apa hal terbaik yang dapat dilakukan perusahaan asuransi pada hari Senin? Mungkin mereka harus menyetel agar mengingat lebih dari presisi. Jauh lebih baik untuk menandai lebih banyak klaim sebagai positif (kemungkinan penipuan) untuk penyelidikan lebih lanjut daripada melewatkan beberapa penipuan dan membayar tunai yang seharusnya tidak pernah dibayarkan. Positif palsu (ditandai untuk pemeriksaan tambahan sebagai kemungkinan penipuan, tetapi kehilangan pelanggan adalah nyata) kemungkinan dapat dibersihkan dengan menugaskan penyeleksi berpengalaman, yang dapat bersikeras pada laporan polisi, meminta membangun video keamanan, dll. Negatif palsu (menerima penipu '

F1 hebat tetapi memahami bagaimana tes / prediksi akan digunakan sangat penting, karena selalu ada risiko salah ... Anda ingin tahu seberapa mengerikan konsekuensinya jika salah.

Deteksi spam Email : Ini adalah salah satu contoh di mana Precision lebih penting daripada Recall .

Rekap Cepat :

• Presisi : Ini menunjukkan kapan Anda memprediksi sesuatu yang positif, berapa kali mereka sebenarnya positif. sedangkan,

• Ingat : Ini memberitahu dari data positif aktual, berapa kali Anda memprediksi dengan benar.

Setelah mengatakan di atas, dalam hal deteksi email spam, Seseorang harusnya baik-baik saja jika email spam (positif) tidak terdeteksi dan tidak masuk ke folder spam tetapi , jika email baik (negatif), maka itu tidak boleh pergi ke folder spam. yaitu Precison lebih penting. (Jika model memprediksi sesuatu yang positif (yaitu spam), lebih baik itu spam. Lain, Anda mungkin kehilangan email penting).

Semoga ini menjelaskan.