Apa itu metrik MAP dan bagaimana cara menghitungnya?

Dalam visi komputer dan deteksi objek, metode evaluasi umum adalah peta. Apa itu dan bagaimana cara menghitungnya?

Kutipan berasal dari makalah Zisserman tersebut di atas - 4.2 Evaluasi Hasil (Halaman 11) :

Pertama, "kriteria tumpang tindih" didefinisikan sebagai intersection-over-union yang lebih besar dari 0,5. (misalnya jika kotak yang diprediksi memenuhi kriteria ini sehubungan dengan kotak kebenaran dasar, ini dianggap sebagai deteksi). Kemudian pencocokan dibuat antara kotak GT dan kotak yang diprediksi menggunakan pendekatan "serakah" ini:

Keluaran deteksi dengan metode ditugaskan ke objek kebenaran dasar yang memenuhi kriteria tumpang tindih dalam urutan berdasarkan keluaran kepercayaan (menurun). Beberapa deteksi dari objek yang sama dalam gambar dianggap sebagai deteksi palsu, misalnya 5 deteksi dari satu objek dihitung sebagai 1 deteksi benar dan 4 deteksi salah

Karenanya setiap kotak yang diprediksi adalah True-Positive atau False-Positive. Setiap kotak kebenaran dasar adalah True-Positive. Tidak ada True-Negatives.

Kemudian presisi rata-rata dihitung dengan menghitung rata-rata nilai presisi pada kurva presisi-recall di mana perolehan berada dalam kisaran [0, 0.1, ..., 1] (misalnya rata-rata 11 nilai presisi). Untuk lebih tepatnya, kami mempertimbangkan kurva PR yang sedikit terkoreksi, di mana untuk setiap titik kurva (p, r), jika ada titik kurva yang berbeda (p ', r') sehingga p '> p dan r'> = r , kami mengganti p dengan p maksimum 'dari titik-titik tersebut.

Apa yang masih belum jelas bagi saya adalah apa yang dilakukan dengan boks GT yang tidak pernah terdeteksi (meskipun keyakinannya 0). Ini berarti bahwa ada nilai penarikan tertentu yang tidak akan pernah dicapai oleh kurva presisi-ingat, dan ini membuat penghitungan presisi rata-rata di atas tidak ditentukan.

Edit:

Jawaban singkat: di wilayah di mana penarikan tidak terjangkau, presisi turun ke 0.

Salah satu cara untuk menjelaskan hal ini adalah dengan mengasumsikan bahwa saat ambang batas keyakinan mendekati 0, sejumlah kotak pembatas yang diprediksi akan menyala di seluruh gambar. Presisi kemudian segera pergi ke 0 (karena hanya ada jumlah kotak GT yang terbatas) dan penarikan terus bertambah pada kurva datar ini sampai kami mencapai 100%.

mAP adalah Rata-rata Presisi.

Penggunaannya berbeda dalam bidang Pengambilan Informasi (Referensi [1] [2] ) dan klasifikasi Multi-Kelas (Deteksi Objek).

Untuk menghitungnya untuk Deteksi Objek, Anda menghitung presisi rata-rata untuk setiap kelas dalam data Anda berdasarkan prediksi model Anda. Presisi rata-rata terkait dengan area di bawah kurva presisi-recall untuk sebuah kelas. Kemudian Mengambil mean dari rata-rata presisi kelas individu ini memberi Anda Rata-rata Presisi.

Untuk menghitung Presisi Rata-rata, lihat [3]

Untuk pendeteksian, cara umum untuk menentukan apakah satu proposal objek benar adalah Intersection over Union (IoU, IU). Ini mengambil set A piksel objek yang diusulkan dan set piksel objek yang sebenarnya Bdan menghitung:

Biasanya, IoU> 0,5 berarti itu hit, jika tidak maka gagal. Untuk setiap kelas, seseorang dapat menghitung

• True Positive TP (c): proposal dibuat untuk kelas c dan sebenarnya ada objek kelas c
• False Positive FP (c): proposal dibuat untuk kelas c, tetapi kelas c tidak ada objek
• Presisi Rata-rata untuk kelas c:
  

MAP (presisi rata-rata rata-rata) kemudian:

catatan: Jika seseorang menginginkan proposal yang lebih baik, ia memang meningkatkan IoU dari 0,5 ke nilai yang lebih tinggi (hingga 1,0 yang akan menjadi sempurna). Seseorang dapat menunjukkan ini dengan mAP @ p, di mana p \ in (0, 1) adalah IoU.

mAP@[.5:.95] berarti bahwa peta dihitung melalui beberapa ambang dan kemudian dirata-ratakan

Edit: Untuk Informasi lebih rinci, lihat metrik Evaluasi COCO

Saya pikir bagian penting di sini adalah menghubungkan bagaimana deteksi objek dapat dianggap sama dengan masalah pengambilan informasi standar yang setidaknya ada satu deskripsi yang sangat baik tentang presisi rata-rata .

Output dari beberapa algoritma pendeteksian objek adalah sekumpulan kotak pembatas yang diusulkan, dan untuk masing-masing, sebuah skor kepercayaan dan klasifikasi (satu skor per kelas). Mari abaikan skor klasifikasi untuk saat ini, dan gunakan keyakinan sebagai masukan untuk klasifikasi biner ambang . Secara intuitif, presisi rata-rata adalah agregasi atas semua pilihan untuk nilai ambang / batas. Tapi tunggu; untuk menghitung presisi, kita perlu tahu apakah sebuah kotak benar!

Di sinilah menjadi membingungkan / sulit; sebagai lawan dari masalah pengambilan informasi yang khas, kami sebenarnya memiliki tingkat klasifikasi tambahan di sini. Artinya, kita tidak dapat melakukan pencocokan tepat antar kotak, jadi kita perlu mengklasifikasikan apakah kotak pembatas sudah benar atau tidak. Solusinya adalah dengan melakukan klasifikasi hard-code pada dimensi kotak; kami memeriksa apakah itu cukup tumpang tindih dengan kebenaran dasar untuk dianggap 'benar'. Ambang batas untuk bagian ini dipilih dengan akal sehat. Kumpulan data yang Anda kerjakan kemungkinan akan menentukan ambang batas untuk kotak pembatas yang 'benar' ini. Sebagian besar kumpulan data hanya menetapkannya pada 0,5 IoU dan berhenti di situ (saya sarankan untuk melakukan beberapa penghitungan IoU manual [tidak sulit] untuk merasakan seberapa ketat IoU 0,5 sebenarnya).

Sekarang kita telah benar-benar mendefinisikan apa artinya menjadi 'benar', kita dapat menggunakan proses yang sama seperti pencarian informasi.

Untuk menemukan rata-rata presisi (MAP), Anda cukup menyusun kotak yang Anda usulkan berdasarkan skor klasifikasi maksimum yang terkait dengan kotak-kotak itu, lalu rata-rata (ambil mean) dari presisi rata-rata (AP) di atas kelas.

TLDR; buat perbedaan antara menentukan apakah prediksi kotak pembatas adalah 'benar' (tingkat klasifikasi tambahan) dan mengevaluasi seberapa baik kepercayaan kotak memberi tahu Anda tentang prediksi kotak pembatas yang 'benar' (sepenuhnya analog dengan kasus pengambilan informasi) dan deskripsi umum dari PETA akan masuk akal.

Perlu dicatat bahwa Area di bawah kurva Presisi / Panggil adalah sama dengan presisi rata-rata , dan pada dasarnya kita mendekati area ini dengan aturan trapesium atau tangan kanan untuk mendekati integral.

Definisi: mAP → mean Average Precision

Di sebagian besar kontes deteksi objek, ada banyak kategori untuk dideteksi, dan evaluasi model dilakukan pada satu kategori tertentu setiap kali, hasil evaluasi adalah AP dari kategori tersebut.

Ketika setiap kategori dievaluasi, mean dari semua AP dihitung sebagai hasil akhir dari model, yaitu mAP.

Intersection Over Union (IOU) diukur berdasarkan Jaccard Index yang mengevaluasi tumpang tindih antara dua kotak pembatas. Ini membutuhkan kotak pembatas kebenaran dasar dan kotak pembatas yang diprediksi Dengan menerapkan IOU kita dapat mengetahui apakah suatu deteksi valid (Benar Positif) atau tidak (Positif Palsu). IO diberikan oleh area tumpang tindih antara kotak pembatas yang diprediksi dan tanah kotak pembatas kebenaran dibagi dengan area persatuan di antara mereka.