Saya mengerti bahwa ukuran-f (berdasarkan presisi dan daya ingat) adalah perkiraan seberapa akurat classifier. Juga, f-ukuran lebih disukai daripada akurasi ketika kita memiliki dataset yang tidak seimbang. Saya punya pertanyaan sederhana (yang lebih banyak tentang menggunakan terminologi yang benar daripada tentang teknologi). Saya memiliki dataset yang tidak seimbang dan saya menggunakan ukuran-f dalam percobaan saya. Saya akan menulis makalah yang BUKAN untuk konferensi pembelajaran mesin / data mining. Oleh karena itu, dapatkah saya merujuk pada f-ukur secara sinonim dengan akurasi dalam konteks ini. Misalnya, saya memiliki ukuran-f 0,82, maka dapatkah saya mengatakan bahwa classifier saya mencapai prediksi akurat 82%?

Pertama-tama, saya menemukan "akurasi" kadang-kadang agak menyesatkan, karena merujuk pada hal-hal yang berbeda:

Istilah akurasi dalam genal untuk mengevaluasi sistem atau metode (saya ahli kimia analitik) mengacu pada bias prediksi, yaitu menjawab pertanyaan seberapa baik prediksi rata-rata.

Seperti yang Anda ketahui, ada banyak ukuran kinerja berbeda yang menjawab berbagai aspek kinerja untuk pengklasifikasi. Salah satunya kebetulan disebut akurasi juga. Jika makalah Anda bukan untuk audiens pembelajaran mesin / klasifikasi, saya sarankan untuk membuat perbedaan ini sangat jelas. Bahkan untuk makna akurasi yang lebih spesifik ini, saya akan sangat eksplisit tentang apa yang saya sebut akurasi karena sekali lagi beberapa cara untuk mengatasi ketidakseimbangan kelas dapat terjadi. Biasanya, ketidakseimbangan kelas diabaikan, yang mengarah ke perhitungan . Namun, Anda juga dapat menggunakan rata-rata sensitivitas dan spesifisitas, yang berarti mengendalikan ketidakseimbangan kelas dengan memberi bobot rata-rata.$\frac{TP+TN}{all~cases}$

The F-skor sering diperkenalkan sebagai mean harmonik presisi dan recall (atau nilai prediktif positif dan sensitivitas). Untuk pertanyaan Anda, saya pikir sangat membantu untuk menjelaskannya sedikit lebih jauh dan menyederhanakannya:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

Ungkapan terakhir bukanlah sebagian kecil dari apa pun yang dapat saya pikirkan sebagai kelompok kasus uji tertentu. Secara khusus, tumpang tindih (berat) antara kasus TRUE dan POSITIF diharapkan. Ini akan membuat saya tidak menyatakan skor-F sebagai persentase seperti jenis yang menyiratkan proporsi kasus. Sebenarnya, saya pikir saya akan memperingatkan pembaca bahwa F-score tidak memiliki interpretasi seperti itu.

Jawaban cepat:

Tidak, F-measurerumus tidak terdiri dari TNfaktor, dan itu berguna saat mengambil masalah ^(doc) .

Dengan demikian, ini ( F-measure) pendekatan yang tepat untuk mengevaluasi dataset yang tidak seimbang atau dalam kasus pengambilan masalah alih-alih accuracydan ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ CATATAN ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)