Pertanyaan yang diberi tag «roc»

Pertanyaan ini adalah tentang memperkirakan skor cut-off pada kuesioner skrining multi-dimensi untuk memprediksi titik akhir biner, dengan adanya skala berkorelasi. Saya ditanya tentang minat mengendalikan subskala terkait ketika menyusun skor batas pada setiap dimensi skala pengukuran (ciri-ciri kepribadian) yang mungkin digunakan untuk penyaringan alkoholisme. Artinya, dalam kasus khusus ini, orang …

20 epidemiology  roc 

Adakah yang bisa menjelaskan kepada saya perbedaan nyata antara analisis regresi dan pemasangan kurva (linear dan nonlinier), dengan contoh jika mungkin? Tampaknya keduanya mencoba untuk menemukan hubungan antara dua variabel (dependen vs independen) dan kemudian menentukan parameter (atau koefisien) yang terkait dengan model yang diusulkan. Misalnya, jika saya memiliki satu …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Saya baru saja selesai membaca diskusi ini . Mereka berpendapat bahwa PR AUC lebih baik daripada ROC AUC pada dataset yang tidak seimbang. Sebagai contoh, kami memiliki 10 sampel dalam dataset uji. 9 sampel positif dan 1 negatif. Kami memiliki model mengerikan yang memprediksi semuanya positif. Jadi, kita akan memiliki …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Aturan penilaian yang tepat adalah aturan yang dimaksimalkan oleh model 'benar' dan itu tidak memungkinkan 'lindung nilai' atau bermain game sistem (sengaja melaporkan hasil yang berbeda seperti keyakinan sejati model untuk meningkatkan skor). Skor penghalang adalah tepat, akurasi (proporsi diklasifikasikan dengan benar) tidak tepat dan sering tidak dianjurkan. Terkadang saya …

16 classification  references  roc  measurement-error  scoring-rules 

Saya memiliki beberapa keraguan tentang ukuran kinerja yang digunakan, area di bawah kurva ROC (TPR sebagai fungsi FPR) atau area di bawah kurva recall-presisi (presisi sebagai fungsi recall). Data saya tidak seimbang, yaitu jumlah instance negatif jauh lebih besar daripada instance positif. Saya menggunakan prediksi keluaran weka, sampelnya adalah: inst#,actual,predicted,prediction …

16 r  machine-learning  roc  precision-recall  auc 

Saya membuat kurva ROC untuk sistem diagnostik. Area di bawah kurva kemudian non-parametrik diperkirakan menjadi AUC = 0,89. Ketika saya mencoba menghitung akurasi pada pengaturan ambang optimal (titik terdekat dengan titik (0, 1)), saya mendapatkan akurasi sistem diagnostik menjadi 0,8, yang kurang dari AUC! Ketika saya memeriksa akurasi pada pengaturan …

16 roc  reliability  accuracy  auc 

Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan 0,5?

16 roc  model-evaluation  auc 

Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Saya sedang mempelajari kursus pembelajaran mesin dan slide kuliah berisi informasi apa yang saya temukan bertentangan dengan buku yang direkomendasikan. Masalahnya adalah sebagai berikut: ada tiga pengklasifikasi: classifier A memberikan kinerja yang lebih baik di kisaran ambang yang lebih rendah, classifier B memberikan kinerja yang lebih baik dalam rentang ambang …

15 machine-learning  probability  data-visualization  classification  roc 

Suppose I have constructed a prediction model for the occurrence of a particular disease in one dataset (the model building dataset) and now want to check how well the model works in a new dataset (the validation dataset). For a model built with logistic regression, I would calculate the predicted …

15 predictive-models  cross-validation  survival  roc 

Apa keuntungan dari kurva ROC? Sebagai contoh, saya mengklasifikasikan beberapa gambar yang merupakan masalah klasifikasi biner. Saya mengekstraksi sekitar 500 fitur dan menerapkan algoritma pemilihan fitur untuk memilih satu set fitur kemudian saya menerapkan SVM untuk klasifikasi. Dalam hal ini, bagaimana saya bisa mendapatkan kurva ROC? Haruskah saya mengubah nilai …

15 machine-learning  roc 

Saya berencana untuk menggunakan validasi silang 10 kali lipat bertingkat yang diulang (sekitar 10 kali) pada sekitar 10.000 kasus menggunakan algoritma pembelajaran mesin. Setiap kali repetisi akan dilakukan dengan seed acak berbeda. Dalam proses ini saya membuat 10 contoh estimasi probabilitas untuk setiap kasus. 1 instance estimasi probabilitas untuk masing-masing …

15 roc 

Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi. Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi. Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang lain sehubungan dengan semua skor (ROC AUC, sensitivitas, spesifisitas)? Sekarang, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Saya menerapkan regresi logistik pada data saya di SAS dan di sini adalah kurva ROC dan tabel klasifikasi. Saya nyaman dengan angka-angka di tabel klasifikasi, tetapi tidak yakin apa yang ditunjukkan oleh kurva roc dan area di bawahnya. Penjelasan apa pun akan sangat dihargai.

14 regression  logistic  classification  roc 

Saya mencoba memahami cara menghitung titik potong optimal untuk kurva ROC (nilai di mana sensitivitas dan spesifisitas dimaksimalkan). Saya menggunakan dataset aSAHdari paket pROC. The outcomevariabel dapat dijelaskan oleh dua variabel independen: s100bdan ndka. Menggunakan sintaks Epipaket, saya telah membuat dua model: library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) Output diilustrasikan …

14 r  roc  sensitivity-analysis  sensitivity-specificity