Apa ukuran untuk akurasi data multilabel?

Pertimbangkan skenario di mana Anda disediakan dengan Matriks FamousLabel dan PredictedLabel. Saya ingin mengukur kebaikan matriks PredictedLabel terhadap Matriks KnowLabel.

Tetapi tantangannya di sini adalah bahwa DiketahuiLabel Matriks memiliki beberapa baris hanya satu 1 dan beberapa baris lainnya memiliki banyak 1 (contoh tersebut adalah multi label). Contoh Matriks FamousLabel diberikan di bawah ini.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Dalam matriks di atas, data instance 1 dan 2 adalah data label tunggal, data instance 3 dan 4 adalah dua data label dan data instance 5 adalah data tiga label.

Sekarang saya memiliki Matriks data PredictedLabel contoh menggunakan algoritma.

Saya ingin mengetahui berbagai ukuran yang dapat digunakan untuk mengukur kebaikan Matriks PredictedLabel terhadap Matriks FamousLabel.

Saya bisa memikirkan perbedaan norma frobeinus di antara mereka sebagai salah satu ukuran. Tapi saya mencari ukuran seperti akurasi $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Di sini, bagaimana kita mendefinisikan untuk banyak contoh data? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Pelajar
sumber

(+1) Sidenote: Apakah ada alasan khusus mengapa Anda belum menerima jawaban di sebagian besar pertanyaan Anda? Mengapa Anda tidak memposting komentar ketika jawaban yang diberikan tidak menyelesaikan masalah Anda? Contoh: stats.stackexchange.com/questions/9947/…

— steffen

Jawaban:

(1) memberikan gambaran yang bagus:

The Wikipedia Halaman n klasifikasi multi-label berisi bagian pada metrik evaluasi juga.

Saya akan menambahkan peringatan bahwa dalam pengaturan multilabel, akurasinya ambigu: mungkin merujuk pada rasio kecocokan yang tepat atau skor Hamming (lihat posting ini ). Sayangnya, banyak makalah yang menggunakan istilah "akurasi".

(1) Sorower, Mohammad S. " Sebuah survei literatur tentang algoritma untuk pembelajaran multi-label. " Oregon State University, Corvallis (2010).

— Franck Dernoncourt
sumber

Apakah definisi ini bertentangan dengan definisi umum untuk Precision dan Recall? Saya selalu membaca bahwa presisi harus dibagi dengan TP + FP dan ingat harus dibagi dengan TP + FN (definisi yang diusulkan di sini melakukan yang sebaliknya jika saya mengerti dengan baik).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

untuk accuracyukuran, bagaimana Anda menangani kasus dengan elegan di mana penyebut |Y + Z| == 0?

— ihadanny

@tomasyany mengacu pada definisi teks (bukan rumus), yang memang tampaknya dialihkan.

— Narfanar

Dan definisi AP ini lebih mirip mAP (berarti AP), bukan? Apa yang disebut sebagai 'Akurasi' adalah IoU rata-rata. Istilahnya agak membingungkan secara keseluruhan.

— Narfanar

Hilangnya Hamming mungkin adalah fungsi kerugian yang paling banyak digunakan dalam klasifikasi multi-label.

Lihatlah Studi Empiris tentang Klasifikasi Multi-label dan Klasifikasi Multi-Label: Tinjauan , keduanya membahas hal ini.

— tdc
sumber

Correctly Predictedadalah perpotongan antara set label yang disarankan dan yang diharapkan. Total Instancesadalah gabungan dari set di atas (tidak ada jumlah rangkap).

Jadi, berikan satu contoh di mana Anda memprediksi kelas A, G, Edan test case telah E, A, H, Psesuai dengan yang Anda dapatkanAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
sumber