Pertanyaan yang diberi tag «auc»

Dicari tinggi dan rendah dan belum dapat menemukan apa AUC, seperti yang terkait dengan prediksi, singkatan atau artinya.

228 classification  prediction  roc  auc  abbreviation 

Saya tertarik menghitung area di bawah kurva (AUC), atau c-statistik, dengan tangan untuk model regresi logistik biner. Misalnya, dalam dataset validasi, saya memiliki nilai sebenarnya untuk variabel dependen, retensi (1 = dipertahankan; 0 = tidak dipertahankan), serta status retensi yang diprediksi untuk setiap pengamatan yang dihasilkan oleh analisis regresi saya …

78 regression  logistic  classification  roc  auc 

Kriteria Informasi Akaike (AIC) dan statistik-c (area di bawah kurva ROC) adalah dua ukuran model yang cocok untuk regresi logistik. Saya mengalami kesulitan menjelaskan apa yang sedang terjadi ketika hasil dari kedua langkah tersebut tidak konsisten. Saya kira mereka mengukur aspek fit model yang sedikit berbeda, tetapi apa saja aspek …

29 logistic  roc  aic  auc 

Saya memiliki dua pengklasifikasi A: jaringan Bayesian yang naif B: tree (terhubung sendiri) jaringan Bayesian Dalam hal akurasi dan langkah-langkah lain, A melakukan relatif lebih buruk daripada B. Namun, ketika saya menggunakan paket R ROCR dan AUC untuk melakukan analisis ROC, ternyata AUC untuk A lebih tinggi daripada AUC untuk …

29 machine-learning  classification  roc  auc  bayesian-network 

Apakah Average Precision (AP) area di bawah Precision-Recall Curve (AUC dari PR-curve)? EDIT: berikut adalah beberapa komentar tentang perbedaan dalam PR AUC dan AP. AUC diperoleh dengan interpolasi trapesium dari presisi. Metrik alternatif dan biasanya hampir setara adalah Average Precision (AP), yang dikembalikan sebagai info.ap. Ini adalah rata-rata presisi yang …

27 scikit-learn  precision-recall  auc  average-precision 

Dalam diskusi: bagaimana membuat kurva roc untuk klasifikasi biner , saya pikir kebingungannya adalah "binary classifier" (yang mana setiap classifier yang memisahkan 2 kelas) adalah untuk Yang yang disebut "discrete classifier" (yang menghasilkan keluaran diskrit 0/1 seperti SVM) dan bukan keluaran kontinu seperti pengklasifikasi JST atau Bayes ... dll. Jadi, …

25 cross-validation  roc  auc 

Gambar di bawah ini menunjukkan kurva kontinu dari tingkat positif palsu vs. Namun, yang saya tidak segera dapatkan adalah bagaimana tarif ini dihitung. Jika suatu metode diterapkan pada dataset, ia memiliki tingkat FP tertentu dan tingkat FN tertentu. Bukankah itu berarti bahwa setiap metode harus memiliki satu titik daripada kurva? …

22 machine-learning  data-visualization  roc  auc 

Pembukaan Ini posting yang panjang. Jika Anda membaca ulang ini, harap perhatikan bahwa saya telah merevisi bagian pertanyaan, meskipun materi latar belakangnya tetap sama. Selain itu, saya percaya bahwa saya telah menemukan solusi untuk masalah ini. Solusi itu muncul di bagian bawah pos. Terima kasih kepada CliffAB untuk menunjukkan bahwa …

21 machine-learning  bayesian  sampling  roc  auc 

Saya menggunakan classifier yang mengembalikan probabilitas. Untuk menghitung AUC, saya menggunakan paket-pROC. Probabilitas keluaran dari classifier adalah: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmenunjukkan kemungkinan berada di kelas '1'. Seperti yang ditunjukkan, classifier telah mengklasifikasikan semua sampel di kelas '1'. Vektor label sejati adalah: truel=c(1, 1, …

20 machine-learning  auc 

Saya memiliki beberapa keraguan tentang ukuran kinerja yang digunakan, area di bawah kurva ROC (TPR sebagai fungsi FPR) atau area di bawah kurva recall-presisi (presisi sebagai fungsi recall). Data saya tidak seimbang, yaitu jumlah instance negatif jauh lebih besar daripada instance positif. Saya menggunakan prediksi keluaran weka, sampelnya adalah: inst#,actual,predicted,prediction …

16 r  machine-learning  roc  precision-recall  auc 

Saya membuat kurva ROC untuk sistem diagnostik. Area di bawah kurva kemudian non-parametrik diperkirakan menjadi AUC = 0,89. Ketika saya mencoba menghitung akurasi pada pengaturan ambang optimal (titik terdekat dengan titik (0, 1)), saya mendapatkan akurasi sistem diagnostik menjadi 0,8, yang kurang dari AUC! Ketika saya memeriksa akurasi pada pengaturan …

16 roc  reliability  accuracy  auc 

Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan 0,5?

16 roc  model-evaluation  auc 

Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Saya mencoba menggunakan fungsi ' density ' di R untuk melakukan estimasi kepadatan kernel. Saya mengalami beberapa kesulitan menafsirkan hasil dan membandingkan berbagai dataset karena tampaknya area di bawah kurva belum tentu 1. Untuk setiap fungsi kepadatan probabilitas (pdf) , kita perlu memiliki area ∫ ∞ - ∞ ϕ ( …

15 r  estimation  pdf  kernel-smoothing  auc 

Skor F1 adalah rata-rata harmonis dari presisi dan daya ingat. Sumbu y dari recall adalah tingkat positif sejati (yang juga recall). Jadi, kadang-kadang pengklasifikasi dapat memiliki daya ingat rendah tetapi AUC sangat tinggi, apa artinya itu? Apa perbedaan antara AUC dan skor F1?

14 machine-learning  precision-recall  auc  accuracy