Bagaimana Anda menghitung presisi dan penarikan kembali untuk klasifikasi multi-kelas menggunakan matriks kebingungan?

Saya bertanya-tanya bagaimana cara menghitung presisi dan mengingat menggunakan matriks kebingungan untuk masalah klasifikasi multi-kelas. Secara khusus, pengamatan hanya dapat ditugaskan untuk kelas / label yang paling mungkin. Saya ingin menghitung:

• Presisi = TP / (TP + FP)
• Ingat kembali = TP / (TP + FN)

untuk setiap kelas, dan kemudian menghitung ukuran-mikro-rata-rata.

Dalam kasus 2-hipotesis, matriks kebingungan biasanya:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

tempat saya menggunakan sesuatu yang mirip dengan notasi Anda:

• TP = benar positif (nyatakan H1 saat, sebenarnya, H1),
• FN = false negative (nyatakan H0 ketika, dalam kebenaran, H1),
• FP = false positive
• TN = benar negatif

Dari data mentah, nilai-nilai dalam tabel biasanya akan menjadi jumlah untuk setiap kemunculan atas data uji. Dari ini, Anda harus dapat menghitung jumlah yang Anda butuhkan.

Sunting

Generalisasi untuk masalah multi-kelas adalah untuk menjumlahkan baris / kolom dari matriks kebingungan. Mengingat bahwa matriks berorientasi seperti di atas, yaitu, bahwa deretan matriks yang diberikan sesuai dengan nilai spesifik untuk "kebenaran", kami memiliki:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Yaitu, presisi adalah sebagian kecil dari peristiwa di mana kita dengan benar menyatakan dari semua contoh di mana algoritma menyatakan . Sebaliknya, mengingat adalah sebagian kecil dari peristiwa di mana kita dengan benar menyatakan keluar dari semua kasus di mana kebenaran keadaan dunia adalah .$i$$i$$i$$i$

Ringkasan makalah yang bagus, melihat metrik ini untuk masalah multi-kelas:

• Sokolova, M., & Lapalme, G. (2009). Analisis sistematis ukuran kinerja untuk tugas klasifikasi. Pemrosesan dan Manajemen Informasi, 45 , hal. 427-437. ( pdf )

Abstraknya berbunyi:

Makalah ini menyajikan analisis sistematis dari dua puluh empat ukuran kinerja yang digunakan dalam spektrum lengkap tugas klasifikasi Machine Learning, yaitu, biner, multi-kelas, multi-label, dan hierarkis. Untuk setiap tugas klasifikasi, penelitian menghubungkan serangkaian perubahan dalam matriks kebingungan dengan karakteristik data tertentu. Kemudian analisis berkonsentrasi pada jenis perubahan ke matriks kebingungan yang tidak mengubah ukuran, oleh karena itu, mempertahankan evaluasi pengklasifikasi (ukuran invarian). Hasilnya adalah taksonomi ukuran invariansi sehubungan dengan semua perubahan distribusi label yang relevan dalam masalah klasifikasi. Analisis formal ini didukung oleh contoh aplikasi di mana sifat invarian langkah-langkah mengarah pada evaluasi pengklasifikasi yang lebih andal.

Menggunakan sklearn dan numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Untuk mendapatkan ukuran presisi dan daya ingat keseluruhan, gunakan kemudian

np.mean(recall)
np.mean(precision)