Apa itu "baseline" dalam kurva recall presisi

15

Saya mencoba memahami kurva recall presisi, saya mengerti apa itu precision dan recall tapi yang saya tidak mengerti adalah nilai "baseline". Saya sedang membaca tautan ini https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/

dan saya tidak mengerti bagian dasar seperti yang ditunjukkan dalam "Kurva Precision-Recall dari pengklasifikasi sempurna" apa fungsinya? dan bagaimana kita menghitungnya? Apakah ini hanya baseline acak yang kita pilih? Misalnya saya punya data twitter dengan atribut seperti retweet,status_countdll dan label kelas saya adalah Favorited1 jika Favorited dan 0 jika tidak Favorited dan saya menerapkan naif bayes di atasnya dan sekarang saya ingin menggambar kurva presisi-recall, bagaimana saya harus menetapkan baseline saya dalam hal ini ?

r machine-learning classification precision-recall

— hyeri
sumber

13

"Kurva garis dasar" dalam plot kurva PR adalah garis horizontal dengan ketinggian yang sama dengan jumlah contoh positif atas jumlah total data pelatihan , yaitu. proporsi contoh positif dalam data kami ( $P$ $N$ ). $\frac{P}{N}$

OK, mengapa demikian? Mari kita asumsikan kita memiliki "sampah classifier" . mengembalikan acak probabilitas ke th sampel contoh berada di kelas . Untuk kenyamanan, ucapkan . Implikasi langsung dari tugas kelas acak ini adalah bahwa akan memiliki (diharapkan) presisi sama dengan proporsi contoh positif dalam data kami. Itu wajar; sub-sampel yang benar-benar acak dari data kami akan memiliki $C_J$ $C_J$ $p_i$ $i$ $y_i$ $A$ $p_i \sim U[0,1]$ $C_J$ contoh diklasifikasikan dengan benar. Ini akan menjadi benar untuk setiap probabilitas thresholdkita mungkin menggunakan sebagai batas keputusan untuk probabilitas keanggotaan kelas dikembalikan oleh. (menunjukkan nilai didi mana nilai-nilai probabilitas lebih besar atau sama dengandiklasifikasikan dalam kelas.) Di sisi lain kinerja recall dariadalah (dengan harapan) sama untukjika. Pada ambang tertentu $E\{\frac{P}{N}\}$ $q$ $C_J$ $q$ $[0,1]$ $q$ $A$ $C_J$ $q$ $p_i \sim U[0,1]$ kami akan memilih (kurang-lebih) dari total data kami yang kemudian akan berisi (kurang-lebih) dari total jumlah instance kelas dalam sampel. Maka garis horizontal yang kami sebutkan di awal! Untuk setiap nilai penarikan (nilai dalam grafik PR) nilai presisi yang sesuai (nilai dalam grafik PR) sama dengan $q$ $(100(1-q))\%$ $(100(1-q))\%$ $A$ $x$ $y$ . $\frac{P}{N}$

Sebuah cepat catatan samping: Ambang adalah tidak umum sama dengan 1 minus recall diharapkan. Hal ini terjadi dalam kasus disebutkan di atas hanya karena distribusi seragam acak hasil 's; untuk distribusi yang berbeda (mis. ) ini perkiraan hubungan identitas antara dan recall tidak berlaku; digunakan karena paling mudah dipahami dan divisualisasikan secara mental. Untuk distribusi acak yang berbeda dalam $q$ $C_J$ $C_J$ $p_i \sim B(2,5)$ $q$ $U[0,1]$ profil PR dari tidak akan berubah sekalipun. Hanya penempatan nilai PR untuknilai diberikanakan berubah. $[0,1]$ $C_J$ $q$

Sekarang mengenai classifier sempurna , orang akan berarti classifier yang mengembalikan probabilitas untuk sampel contoh menjadi kelas jika memang di kelas dan juga mengembalikan probabilitas jika bukan anggota kelas . Ini menyiratkan bahwa untuk setiap ambang batas kita akan memiliki presisi (mis. Dalam istilah grafik kita mendapatkan garis mulai dari presisi ). Satu-satunya poin kami tidak mendapatkan $C_P$ $1$ $y_i$ $A$ $y_i$ $A$ $C_P$ $0$ $y_i$ $A$ $q$ $100\%$ $100\%$ presisi pada . Untuk , presisi jatuh ke proporsi contoh positif dalam data kami ( $100\%$ $q = 0$ $q=0$ ) sebagai (gila-gilaan?) Kita mengklasifikasikan bahkan poin denganprobabilitas menjadi kelassebagai kelas. Grafik PR darimemiliki dua nilai yang mungkin untuk presisi,dan $\frac{P}{N}$ $0$ $A$ $A$ $C_P$ $1$ . $\frac{P}{N}$

OK dan beberapa kode R untuk melihat ini diserahkan dengan contoh di mana nilai positif sesuai dengan dari sampel kami. Perhatikan bahwa kita melakukan "soft-tugas" dari kategori kelas dalam arti bahwa nilai probabilitas yang terkait dengan setiap titik mengkuantifikasi untuk keyakinan kita bahwa titik ini adalah kelas . $40\%$ $A$

  rm(list= ls())
  library(PRROC)
  N = 40000
  set.seed(444)
  propOfPos = 0.40
  trueLabels = rbinom(N,1,propOfPos)
  randomProbsB = rbeta(n = N, 2, 5) 
  randomProbsU = runif(n = N)  

  # Junk classifier with beta distribution random results
  pr1B <- pr.curve(scores.class0 = randomProbsB[trueLabels == 1], 
                   scores.class1 = randomProbsB[trueLabels == 0], curve = TRUE) 
  # Junk classifier with uniformly distribution random results
  pr1U <- pr.curve(scores.class0 = randomProbsU[trueLabels == 1], 
                   scores.class1 = randomProbsU[trueLabels == 0], curve = TRUE) 
  # Perfect classifier with prob. 1 for positives and prob. 0 for negatives.
  pr2 <- pr.curve(scores.class0 = rep(1, times= N*propOfPos), 
                  scores.class1 = rep(0, times = N*(1-propOfPos)), curve = TRUE)

  par(mfrow=c(1,3))
  plot(pr1U, main ='"Junk" classifier (Unif(0,1))', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.50)),c(1,2)];
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr1B, main ='"Junk" classifier (Beta(2,5))', auc.main= FALSE,
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.50)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr2, main = '"Perfect" classifier', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);

di mana lingkaran hitam dan segitiga menunjukkan dan masing-masing dalam dua plot pertama. Kita segera melihat bahwa pengklasifikasi "sampah" dengan cepat mencapai presisi sama dengan $q =0.50$ $q=0.20$ $\frac{P}{N}$ $1$ $\approx 0.40$ $1$

$0$

Sebagai catatan, sudah ada beberapa jawaban yang sangat baik di CV mengenai kegunaan kurva PR: di sini , di sini dan di sini . Hanya dengan membacanya dengan seksama harus menawarkan pemahaman umum yang baik tentang kurva PR.

— usεr11852 kata Reinstate Monic
sumber

1

Bergabung dengan komunitas ini hanya supaya saya bisa mengungguli ini. Ini adalah penjelasan yang bagus tentang konsep baseline dalam kurva presisi recall. Sebagai seorang ahli bioinformatika, saya merasa sangat terbantu.

— jimh

1

@ Jimh: Terima kasih, senang mendengarnya. Saya senang posting ini bermanfaat.

— usεr11852 mengatakan Reinstate Monic

Saya tahu ini bukan komentar yang membawa informasi yang berguna, tetapi saya ingin mengucapkan terima kasih banyak atas penjelasan menyeluruh dan membuka mata Anda.

— Ric S

0

Jawaban yang bagus di atas. Inilah cara berpikir intuitif saya tentang hal itu. Bayangkan Anda memiliki banyak bola merah = positif dan kuning = negatif, dan Anda melemparkannya secara acak ke dalam ember = pecahan positif. Kemudian jika Anda memiliki jumlah bola merah dan kuning yang sama, ketika Anda menghitung PREC = tp / tp + fp = 100/100 + 100 dari ember Anda merah (positif) = kuning (negatif), oleh karena itu, PREC = 0,5. Namun, jika saya memiliki 1000 bola merah dan 100 bola kuning, maka dalam ember saya akan secara acak mengharapkan PREC = tp / tp + fp = 1000/1000 + 100 = 0,91 karena itu adalah garis dasar kesempatan dalam fraksi positif yang juga RP / RP + RN, di mana RP = nyata positif dan RN = nyata negatif.

— Christopher John
sumber