Koneksi antara (d-prime) dan AUC (Area Di Bawah Kurva ROC); asumsi yang mendasarinya

Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya terhubung erat, dan saya percaya mereka setara satu sama lain jika asumsi tertentu dipenuhi .$d'$

Perhitungan biasanya disajikan berdasarkan asumsi distribusi normal untuk distribusi sinyal (lihat tautan wikipedia di atas, misalnya). Perhitungan kurva ROC tidak membuat asumsi ini: ini berlaku untuk klasifikasi apa pun yang menghasilkan kriteria keputusan bernilai terus menerus yang dapat di-threshold.$d'$

Wikipedia mengatakan bahwa setara dengan . Ini kelihatannya benar jika asumsi keduanya terpenuhi; tetapi jika asumsinya tidak sama, itu bukan kebenaran universal.$d'$$2 \text{AUC} - 1$

Apakah adil untuk menggambarkan perbedaan dalam asumsi sebagai "AUC membuat lebih sedikit asumsi tentang distribusi yang mendasarinya"? Atau sebenarnya hanya sebagai berlaku secara luas sebagai AUC, tapi itu hanya praktek umum bahwa orang yang menggunakan cenderung menggunakan perhitungan yang mengasumsikan distribusi normal? Adakah perbedaan lain dalam asumsi mendasar yang saya lewatkan?$d'$$d'$

Tidak. Nilai maksimum AUC adalah 1. d 'tidak memiliki maksimum.

Saya percaya bahwa d 'sama dengan qnorm (AUC) * sqrt (2) (ingatan saya tentang buku statistik lama yang tidak dapat saya temukan sekarang tetapi sepertinya memeriksa beberapa data yang saya temukan di web). Di sini qnorm (x) adalah "fungsi kuantil untuk distribusi normal" (R-speak). Artinya, ia mengembalikan nilai distribusi normal yang x proporsi distribusi di bawahnya.