Dengan kata lain, alih-alih memiliki masalah dua kelas saya berurusan dengan 4 kelas dan masih ingin menilai kinerja menggunakan AUC.
Jawaban:
Tampaknya Anda mencari analisis ROC multi-kelas, yang merupakan semacam optimasi multi-objektif yang dibahas dalam tutorial di ICML'04. Seperti dalam beberapa masalah multi-kelas, idenya umumnya untuk melakukan perbandingan berpasangan (satu kelas vs semua kelas lainnya, satu kelas vs kelas lain, lihat (1) atau Elemen Pembelajaran Statistik ), dan ada yang terbaru kertas oleh Landgrebe dan Duin pada topik itu, Mendekati ROC multiclass dengan analisis berpasangan , Pattern Recognition Letters 2007 28: 1747-1758. Sekarang, untuk tujuan visualisasi, saya telah melihat beberapa makalah beberapa waktu lalu, kebanyakan dari mereka memutar volume di bawah permukaan ROC (VUS) atau diagram Cobweb .
Saya tidak tahu, bagaimanapun, jika ada implementasi R dari metode ini, meskipun saya pikir stars()fungsi tersebut dapat digunakan untuk plot sarang laba-laba. Saya baru saja berlari melintasi kotak peralatan Matlab yang tampaknya menawarkan analisis ROC multi-kelas, PRSD Studio .
Makalah lain yang mungkin juga berguna sebagai awal pertama untuk visualisasi / perhitungan:
Referensi:
1. Allwein, EL, Schapire, RE dan Singer, Y. (2000). Mengurangi multi-kelas menjadi biner: Pendekatan pemersatu untuk pengklasifikasi margin. Jurnal Penelitian Pembelajaran Mesin , 1 : 113–141.
Saya baru-baru ini menemukan paket pROC ini di R yang memplot ROC multiclass menggunakan teknik yang ditentukan oleh Hand and Till (2001) . Anda dapat menggunakan fungsi multiclass.roc.
Jawabannya di sini cukup lengkap, tetapi saya masih ingin menambahkan 5 sen saya. Dalam pertanyaan ini Anda dapat menemukan contoh kode R untuk menghasilkan Kurva ROC menggunakan Pendekatan One-Vs-All dan pustaka ROCR R.
Ini adalah alur dari jawaban itu:
Sementara matematika di luar saya artikel ulasan umum ini memiliki beberapa referensi Anda mungkin akan tertarik, dan memiliki deskripsi singkat tentang grafik ROC multi-kelas.
Pengantar analisis ROC oleh Tom Fawcett Pattern Recognition Letters Volume 27, Edisi 8, Juni 2006, Halaman 861-874
Tautan ke pdf sebagaimana disediakan oleh gd047- terima kasih