Pertanyaan yang diberi tag «roc»

Saya ingin menghitung d prime untuk tugas memori yang melibatkan mendeteksi item lama dan baru. Masalah yang saya miliki adalah bahwa beberapa subjek memiliki hit rate 1 dan / atau false alarm 0, yang membuat probabilitas masing-masing 100% dan 0%. Formula untuk d prime adalah d' = z(H) - z(F), …

10 roc  excel  signal-detection  d-prime 

Pertimbangkan matriks input dan output biner .XXXyyy Cara umum untuk mengukur kinerja classifier adalah dengan menggunakan kurva ROC. Dalam plot ROC, diagonal adalah hasil yang akan diperoleh dari classifier acak. Dalam hal output tidak seimbang , kinerja classifier acak dapat ditingkatkan dengan memilih atau dengan probabilitas berbeda.yyy000111 Bagaimana kinerja classifier …

10 classification  roc  unbalanced-classes 

Saat ini saya membandingkan tiga metode dan saya memiliki Akurasi, auROC dan auPR sebagai metrik. Dan saya memiliki hasil sebagai berikut: Metode A - acc: 0.75, auROC: 0.75, auPR: 0.45 Metode B - acc: 0.65, auROC: 0.55, auPR: 0.40 Metode C - acc: 0,55, auROC: 0,70, auPR: 0,65 Saya memiliki …

10 machine-learning  roc  precision-recall 

Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau summary(model). Dua yang terakhir ini memberikan jawaban yang sama. Menggunakan banyak data yang …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Saya telah membuat beberapa model regresi Cox dan saya ingin melihat seberapa baik kinerja model-model ini dan saya pikir mungkin kurva ROC atau statistik-c mungkin berguna seperti artikel ini: JN Armitage och JH van der Meulen, "Mengidentifikasi komorbiditas pada pasien bedah yang menggunakan data administratif dengan Royal College of Surgeons …

10 r  survival  roc 

Terutama di sisi yang berorientasi pada ilmu komputer dari literatur pembelajaran mesin, AUC (area di bawah kurva karakteristik operator penerima) adalah kriteria populer untuk mengevaluasi pengklasifikasi. Apa justifikasi untuk menggunakan AUC? Misalnya, apakah ada fungsi kerugian tertentu yang keputusan optimalnya adalah pengklasifikasi dengan AUC terbaik?

10 machine-learning  roc 

Saya membaca keterangan ini di sebuah makalah dan belum pernah melihat AUC dijelaskan dengan cara ini di tempat lain. Apakah ini benar? Apakah ada bukti atau cara sederhana untuk melihatnya? Gambar. 2 menunjukkan akurasi prediksi variabel dikotomis dinyatakan dalam hal area di bawah kurva karakteristik penerima-operasi (AUC), yang setara dengan …

10 classification  roc  auc 

Ketika melakukan validasi silang 5 kali lipat (misalnya), biasanya menghitung kurva ROC terpisah untuk masing-masing dari 5 lipatan dan sering kali kurva ROC rata-rata dengan std. dev. ditampilkan sebagai ketebalan kurva. Namun, untuk LOO cross-validation, di mana hanya ada satu titik data pengujian di setiap lipatan, tampaknya tidak masuk akal …

10 cross-validation  roc 

Saya ingin mencari titik batas untuk gender berdasarkan pengukuran antropologis. Saya dapat menggambar kurva dan saya tahu bahwa dalam hal sensitivitas dan spesifisitas keduanya sama pentingnya, titik paling dekat dengan sudut kiri atas bingkai (atau jika kurva negatif, titik terdekat ke sudut kanan bawah) harus ditentukan sebagai cut-off. Namun, saya …

10 roc 

Saya memiliki data 2-kelas berlabel di mana saya melakukan klasifikasi menggunakan beberapa pengklasifikasi. Dan datasetnya seimbang. Ketika menilai kinerja pengklasifikasi, saya perlu mempertimbangkan seberapa akurat pengklasifikasi dalam menentukan tidak hanya positif sejati, tetapi juga negatif sebenarnya. Oleh karena itu, jika saya menggunakan akurasi, dan jika pengklasifikasi cenderung positif dan mengklasifikasikan …

9 classification  roc  model-evaluation  sensitivity-specificity 

Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung rata-rata AUC. Bagaimana saya bisa melakukannya untuk regresi logistik …

9 logistic  cross-validation  roc  auc  ordered-logit 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya sering mendengar pengambilan sampel data atas atau bawah yang dibahas sebagai cara berurusan dengan klasifikasi data yang tidak seimbang. Saya mengerti bahwa ini bisa berguna jika Anda bekerja dengan classifier biner (bukan berdasarkan probabilistik atau berbasis skor) dan memperlakukannya sebagai kotak hitam, jadi skema pengambilan sampel adalah satu-satunya cara …

8 classification  roc  unbalanced-classes 

Saya menggunakan pendekatan bootstrap untuk validasi internal model multivariat yang dibangun dengan regresi logistik standar ATAU jaring elastis. Prosedur yang saya gunakan adalah sebagai berikut: 1) membangun model menggunakan seluruh dataset, mendapatkan nilai prediksi, dan menghitung AUC (AUC_ap, jelas) 2) menghasilkan 100-500 sampel bootstrap yang berasal dari dataset asli 3) …

8 bootstrap  roc  validation  regression-strategies 

Saya memiliki beberapa set data EEG yang saya uji terhadap dua kelas. Saya bisa mendapatkan tingkat kesalahan yang layak dari LDA (distribusi kelas-kondisional bukan Gaussian, tetapi memiliki ekor yang sama dan pemisahan yang cukup baik), jadi saya ingin memplot ROC dari prediktor LDA terhadap set data dari subjek lain. Berikut …

8 r  roc  discriminant-analysis