Pertanyaan yang diberi tag «auc»

Kompetisi Kaggle Prediksi Pengemudi Aman Porto Seguro menggunakan Skor Normalisasi Gini sebagai metrik evaluasi dan ini membuat saya ingin tahu tentang alasan pilihan ini. Apa keuntungan menggunakan skor gini yang dinormalisasi alih-alih metrik yang paling umum, seperti AUC, untuk evaluasi?

14 classification  auc  model-evaluation  gini 

Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi. Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi. Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang lain sehubungan dengan semua skor (ROC AUC, sensitivitas, spesifisitas)? Sekarang, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 yang aucdan loglosskolom metrik cross-validasi (validasi silang …

14 model-selection  validation  auc  gini  log-loss 

Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini secara matematis menggunakan integral, memberikan CDF dan PDF dari …

14 probability  roc  auc 

Diberikan set data dengan hasil biner y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n dan beberapa matriks prediktor X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , model regresi logistik standar memperkirakan koefisien βMLEβMLE\beta_{MLE} yang memaksimalkan kemungkinan binomial. Ketika XXX adalah peringkat penuh βMLEβMLE\beta_{MLE} adalah unik; ketika pemisahan sempurna tidak ada, itu terbatas. Apakah model kemungkinan maksimum ini juga memaksimalkan ROC AUC (alias …

13 logistic  maximum-likelihood  auc 

Satu ukuran umum yang digunakan untuk membandingkan dua atau lebih model klasifikasi adalah dengan menggunakan area di bawah kurva ROC (AUC) sebagai cara untuk secara tidak langsung menilai kinerjanya. Dalam hal ini model dengan AUC yang lebih besar biasanya diartikan sebagai berkinerja lebih baik daripada model dengan AUC yang lebih …

13 machine-learning  classification  roc  auc  model-evaluation 

Ketika kami menilai kualitas Hutan Acak, misalnya menggunakan AUC, apakah lebih tepat untuk menghitung jumlah ini di atas Sampel Luar Tas atau lebih dari seperangkat validasi silang tahan? Saya mendengar bahwa menghitungnya melalui Sampel OOB memberikan penilaian yang lebih pesimistis, tetapi saya tidak mengerti mengapa.

13 cross-validation  random-forest  auc 

Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya terhubung erat, dan saya percaya mereka setara satu sama …

13 machine-learning  roc  auc  signal-detection  d-prime 

Saya menemukan koefisien Dice untuk kesamaan volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefisien ) dan akurasi ( https://en.wikipedia.org/wiki/Accuracy_and_precision) ). Tampak bagi saya bahwa kedua ukuran ini sama. Adakah pikiran?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Saya telah memasang model saya dan berusaha memahami apakah itu bagus. Saya telah menghitung metrik yang disarankan untuk menilainya ( / AUC / akurasi / kesalahan prediksi / dll) tetapi tidak tahu bagaimana menafsirkannya. Singkatnya, bagaimana cara mengetahui apakah model saya bagus berdasarkan metrik? Apakah dari 0,6 (misalnya) cukup untuk …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Saya melakukan tugas klasifikasi biner di mana probabilitas hasil cukup rendah (sekitar 3%). Saya mencoba memutuskan apakah akan mengoptimalkan dengan AUC atau log-loss. Seperti yang saya mengerti, AUC memaksimalkan kemampuan model untuk membedakan antara kelas-kelas sementara logloss menghukum perbedaan antara probabilitas aktual dan estimasi. Dalam tugas saya sangat penting untuk …

12 classification  binary-data  auc  log-loss 

Saya memiliki masalah klasifikasi biner dan saya mencoba berbagai pengklasifikasi di dalamnya: Saya ingin membandingkan pengklasifikasi. mana yang merupakan ukuran AUC atau akurasi yang lebih baik? Dan mengapa? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Karena saya memiliki dataset yang sangat tidak seimbang (hasil positif 9%), saya memutuskan kurva presisi-recall lebih tepat daripada kurva ROC. Saya memperoleh ukuran ringkasan analog dari area di bawah kurva PR (0,49, jika Anda tertarik) tetapi tidak yakin bagaimana menafsirkannya. Saya pernah mendengar bahwa 0,8 atau di atas adalah AUC …

11 classification  precision-recall  auc 

Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau summary(model). Dua yang terakhir ini memberikan jawaban yang sama. Menggunakan banyak data yang …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion