Bagaimana cara mendapatkan interpretasi probabilistik dari AUC?

14

Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini secara matematis menggunakan integral, memberikan CDF dan PDF dari distribusi kelas positif dan negatif yang sebenarnya?

probability roc auc

— mff
sumber

2

Saya menulis bukti yang sangat mendasar tentang hal ini di sini: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury

10

Hal pertama, mari kita coba mendefinisikan area di bawah kurva ROC secara formal. Beberapa asumsi dan definisi:

Kami memiliki penggolong probabilistik yang menghasilkan "skor" s (x), di mana x adalah fitur, dan s adalah fungsi monotonik peningkatan umum dari perkiraan probabilitas p (kelas = 1 | x).
$f_{k}(s)$ , dengan : = pdf dari skor untuk kelas k, dengan CDF $k = \{0, 1\}$ $F_{k}(s)$
Klasifikasi pengamatan baru diperoleh dengan mengkomposisi skor s ke ambang batas t

Selanjutnya, untuk kenyamanan matematika, mari kita pertimbangkan kelas positif (peristiwa terdeteksi) k = 0, dan negatif k = 1. Dalam pengaturan ini kita dapat mendefinisikan:

Ingat (alias Sensitivitas, alias TPR) : (proporsi kasus positif diklasifikasikan sebagai positif) $F_{0}(t)$
Spesifisitas (alias TNR) : (proporsi kasus negatif diklasifikasikan sebagai negatif) $1 - F_{1}(t)$
FPR (alias Fall-out) : 1 - TNR = $F_{1}(t)$

Kurva ROC kemudian merupakan plot terhadap . Dengan , kami dapat secara formal mendefinisikan area di bawah kurva ROC sebagai: Mengubah variabel ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Formula ini dapat dengan mudah dilihat sebagai probabilitas bahwa anggota kelas 0 yang ditarik secara acak akan menghasilkan skor yang lebih rendah daripada skor anggota kelas 1 yang ditarik secara acak.

Bukti ini diambil dari: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
sumber

5

@ alebu jawabannya bagus. Tetapi notasinya tidak standar dan menggunakan 0 untuk kelas positif dan 1 untuk kelas negatif. Di bawah ini adalah hasil untuk notasi standar (0 untuk kelas negatif dan 1 untuk kelas positif):

Pdf dan cdf skor untuk kelas negatif: dan $f_0(s)$ $F_0(s)$

Pdf dan cdf skor untuk kelas positif: dan $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

di mana berarti ambang. Seseorang dapat menerapkan interpretasi dalam jawaban alebu untuk ekspresi terakhir. $\tau$

— Lei Huang
sumber

1

Cara menghitung AUC-ROC adalah dengan memplot TPR dan FPR sebagai ambang, diubah dan menghitung area di bawah kurva itu. Tapi, mengapa area ini di bawah kurva sama dengan probabilitas ini? Mari kita asumsikan sebagai berikut: $\tau$

$A$ adalah distribusi skor yang dihasilkan model untuk titik data yang sebenarnya berada di kelas positif.
$B$ adalah distribusi skor yang dihasilkan model untuk titik data yang sebenarnya berada di kelas negatif (kami ingin ini berada di sebelah kiri ). $A$
$\tau$ adalah ambang batas. Jika suatu titik data mendapat skor lebih besar dari ini, itu diprediksi sebagai milik kelas positif. Kalau tidak, itu diprediksi berada di kelas negatif.

Perhatikan bahwa TPR (recall) diberikan oleh: dan FPR (fallout) diberikan menjadi: . $P(A>\tau)$ $P(B>\tau)$

Sekarang, kita plot TPR pada sumbu y dan FPR pada sumbu x, menggambar kurva untuk berbagai dan menghitung area di bawah kurva ini ( ). $\tau$ $AUC$

Kita mendapatkan:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ mana adalah FPR. Sekarang, salah satu cara untuk menghitung integral ini adalah dengan menganggap sebagai bagian dari distribusi yang seragam. Dalam hal itu, itu hanya menjadi harapan .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ jika kita mempertimbangkan .

x \sim U [0, 1)

$x \sim U[0,1)$

Sekarang, sini hanya $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Karena kami menganggap berasal dari distribusi yang seragam,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Tapi kita tahu dari invers transformasi hukum bahwa untuk setiap variabel acak , jika maka . Ini mengikuti sejak mengambil variabel acak dan menerapkan CDF sendiri untuk itu mengarah ke seragam. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ dan ini hanya berlaku untuk seragam.

Menggunakan fakta ini dalam persamaan (2) memberi kita:

τ (x) \sim B

$\tau(x) \sim B$

Mengganti ini menjadi persamaan (1) kita dapatkan:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Dengan kata lain, area di bawah kurva adalah probabilitas bahwa sampel positif acak akan memiliki skor lebih tinggi daripada sampel negatif acak.

— ryu576
sumber