Pertanyaan yang diberi tag «precision-recall»

Saya mengerti perbedaan formal di antara mereka, yang ingin saya ketahui adalah ketika lebih relevan untuk menggunakan satu vs yang lain. Apakah mereka selalu memberikan wawasan pelengkap tentang kinerja sistem klasifikasi / deteksi yang diberikan? Kapan masuk akal untuk menyediakan keduanya, misalnya, di kertas? bukan hanya satu? Adakah deskriptor alternatif …

159 machine-learning  roc  precision-recall 

Saya bertanya-tanya bagaimana cara menghitung presisi dan mengingat menggunakan matriks kebingungan untuk masalah klasifikasi multi-kelas. Secara khusus, pengamatan hanya dapat ditugaskan untuk kelas / label yang paling mungkin. Saya ingin menghitung: Presisi = TP / (TP + FP) Ingat kembali = TP / (TP + FN) untuk setiap kelas, dan …

92 machine-learning  classification  precision-recall  multi-class 

Saya bertanya-tanya bagaimana cara menghitung pengukuran presisi dan penarikan untuk klasifikasi multilabel multilabel, yaitu klasifikasi di mana terdapat lebih dari dua label, dan di mana setiap instance dapat memiliki beberapa label?

72 machine-learning  classification  precision-recall  multi-class 

Saya ingin tahu bagaimana menafsirkan perbedaan nilai-nilai f-ukur. Saya tahu bahwa ukuran-f adalah rata-rata yang seimbang antara presisi dan daya ingat, tetapi saya bertanya tentang arti praktis dari perbedaan dalam ukuran-F. Sebagai contoh, jika classifier C1 memiliki akurasi 0,4 dan classifier C2 lainnya akurasi 0,8, maka kita dapat mengatakan bahwa …

41 classification  precision-recall 

Saya memiliki tugas klasifikasi di mana saya memiliki sejumlah prediktor (salah satunya adalah yang paling informatif), dan saya menggunakan model MARS untuk membangun classifier saya (saya tertarik pada model sederhana apa pun, dan menggunakan glms untuk tujuan ilustrasi akan menjadi baik baik juga). Sekarang saya memiliki ketidakseimbangan kelas yang sangat …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Saya memiliki contoh di bawah ini yang saya ambil dari dokumentasi sklearn's sklearn.metrics.classification_report. Apa yang saya tidak mengerti adalah mengapa ada nilai f1, nilai presisi dan recall untuk setiap kelas di mana saya percaya kelas adalah label prediktor? Saya pikir skor f1 memberi tahu Anda keakuratan keseluruhan model. Juga, apa …

29 machine-learning  python  scikit-learn  precision-recall 

Apakah Average Precision (AP) area di bawah Precision-Recall Curve (AUC dari PR-curve)? EDIT: berikut adalah beberapa komentar tentang perbedaan dalam PR AUC dan AP. AUC diperoleh dengan interpolasi trapesium dari presisi. Metrik alternatif dan biasanya hampir setara adalah Average Precision (AP), yang dikembalikan sebagai info.ap. Ini adalah rata-rata presisi yang …

27 scikit-learn  precision-recall  auc  average-precision 

Saya bingung tentang perbedaan antara skor F1, skor Dice dan IoU (persimpangan atas persatuan). Sekarang saya mengetahui bahwa F1 dan Dice memiliki arti yang sama (benar?) Dan IoU memiliki formula yang sangat mirip dengan dua lainnya. F1 / Dadu:2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard:TPTP+ FP+ FNTPTP+FP+FN\frac{TP}{TP+FP+FN} Adakah perbedaan …

24 terminology  accuracy  precision-recall 

Saya berurusan dengan masalah deteksi penipuan (seperti penilaian kredit). Dengan demikian ada hubungan yang sangat tidak seimbang antara pengamatan yang curang dan yang tidak curang. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html memberikan gambaran yang bagus tentang berbagai metrik klasifikasi. Precision and Recallatau kappakeduanya tampaknya menjadi pilihan yang baik: Salah satu cara untuk membenarkan hasil pengklasifikasi …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya sedang menerapkan tes statistik di mana saya …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Saya baru saja selesai membaca diskusi ini . Mereka berpendapat bahwa PR AUC lebih baik daripada ROC AUC pada dataset yang tidak seimbang. Sebagai contoh, kami memiliki 10 sampel dalam dataset uji. 9 sampel positif dan 1 negatif. Kami memiliki model mengerikan yang memprediksi semuanya positif. Jadi, kita akan memiliki …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Saya memiliki beberapa keraguan tentang ukuran kinerja yang digunakan, area di bawah kurva ROC (TPR sebagai fungsi FPR) atau area di bawah kurva recall-presisi (presisi sebagai fungsi recall). Data saya tidak seimbang, yaitu jumlah instance negatif jauh lebih besar daripada instance positif. Saya menggunakan prediksi keluaran weka, sampelnya adalah: inst#,actual,predicted,prediction …

16 r  machine-learning  roc  precision-recall  auc 

Dapatkah seseorang meringkas untuk saya dengan contoh yang mungkin, pada situasi apa meningkatkan data pelatihan meningkatkan sistem secara keseluruhan? Kapan kami mendeteksi bahwa menambahkan lebih banyak data pelatihan dapat membuat data terlalu berlebihan dan tidak memberikan akurasi yang baik pada data uji? Ini adalah pertanyaan yang sangat tidak spesifik, tetapi …

16 machine-learning  classification  dataset  precision-recall 

Presisi didefinisikan sebagai: p = true positive / (true positive + false positive) Berapa nilai presisi jika (true positive + false positive) = 0? Apakah itu hanya tidak terdefinisi? Pertanyaan yang sama untuk diingat: r = true positive / (true positive + false negative) Dalam hal ini, berapakah nilai recall …

16 precision-recall 

Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable