Pertanyaan yang diberi tag «roc»

Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini secara matematis menggunakan integral, memberikan CDF dan PDF dari …

14 probability  roc  auc 

Biasanya dalam regresi logistik, kami cocok dengan model dan mendapatkan beberapa prediksi pada set pelatihan. Kami kemudian melakukan validasi silang pada prediksi pelatihan tersebut (seperti di sini ) dan memutuskan nilai ambang batas optimal berdasarkan pada sesuatu seperti kurva ROC. Mengapa kita tidak memasukkan validasi silang dari ambang ke dalam …

13 logistic  cross-validation  optimization  roc  threshold 

Satu ukuran umum yang digunakan untuk membandingkan dua atau lebih model klasifikasi adalah dengan menggunakan area di bawah kurva ROC (AUC) sebagai cara untuk secara tidak langsung menilai kinerjanya. Dalam hal ini model dengan AUC yang lebih besar biasanya diartikan sebagai berkinerja lebih baik daripada model dengan AUC yang lebih …

13 machine-learning  classification  roc  auc  model-evaluation 

Saya telah mendapatkan model regresi logistik (via train) untuk respons biner, dan saya telah mendapatkan matriks kebingungan logistik via confusionMatrixin caret. Ini memberi saya matriks kebingungan model logistik, meskipun saya tidak yakin apa ambang batas yang digunakan untuk mendapatkannya. Bagaimana cara mendapatkan matriks kebingungan untuk nilai ambang batas tertentu menggunakan …

13 r  classification  roc  caret  confusion-matrix 

Saya telah mengerjakan model logistik dan saya mengalami kesulitan mengevaluasi hasilnya. Model saya adalah logit binomial. Variabel penjelas saya adalah: variabel kategori dengan 15 level, variabel dikotomis, dan 2 variabel kontinu. N saya besar> 8000. Saya mencoba memodelkan keputusan perusahaan untuk berinvestasi. Variabel dependen adalah investasi (ya / tidak), variabel …

13 r  logistic  goodness-of-fit  roc 

kami dulu membuat kurva GINI menggunakan lift yang dibuat dengan bantuan persentase baik dan buruk untuk pemodelan scorecard. Tetapi apa yang telah saya pelajari bahwa kurva ROC dibuat menggunakan matriks Confusion dengan kekhususan (1- True Negative) sebagai sumbu x dan sensitivitas (true positif) sebagai sumbu Y. Jadi hasil GINI dan …

13 roc  gini 

Biasanya kita tidak bisa menggambar kurva ROC untuk pengklasifikasi diskrit seperti pohon keputusan. Apakah saya benar? Apakah ada cara untuk menggambar kurva ROC untuk Dtrees?

13 roc  cart 

Dalam pembelajaran mesin, kita dapat menggunakan area di bawah kurva ROC (sering disingkat AUC , atau AUROC) untuk merangkum seberapa baik suatu sistem dapat membedakan antara dua kategori. Dalam teori pendeteksian sinyal seringkali (indeks sensitivitas) digunakan untuk tujuan yang sama. Keduanya terhubung erat, dan saya percaya mereka setara satu sama …

13 machine-learning  roc  auc  signal-detection  d-prime 

Saya menemukan koefisien Dice untuk kesamaan volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefisien ) dan akurasi ( https://en.wikipedia.org/wiki/Accuracy_and_precision) ). Tampak bagi saya bahwa kedua ukuran ini sama. Adakah pikiran?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Saya kesulitan menemukan cara untuk menghitung nilai-p untuk area di bawah karakteristik operator penerima (ROC). Saya memiliki variabel kontinu dan hasil tes diagnostik. Saya ingin melihat apakah AUROC signifikan secara statistik. Saya menemukan banyak paket yang berhubungan dengan kurva ROC: pROC, ROCR, caTools, verifikasi, Epi. Tetapi bahkan setelah berjam-jam menghabiskan …

12 r  p-value  roc 

Saya menjalankan classifier biner saat ini. Ketika saya memplot kurva ROC saya mendapatkan tumpangan yang baik di awal kemudian ia mengubah arah dan melintasi diagonal kemudian tentu saja kembali, membuat kurva bentuk S seperti miring. Apa yang bisa menjadi interpretasi / penjelasan untuk efek ini? Terima kasih

12 roc 

Kapan Anda cenderung menggunakan kurva ROC di atas beberapa tes lain untuk menentukan kemampuan prediksi beberapa pengukuran pada hasil? Ketika berhadapan dengan hasil yang terpisah (hidup / mati, ada / tidak ada), apa yang membuat kurva ROC lebih atau kurang kuat daripada sesuatu seperti chi-square?

12 regression  roc 

Saya memiliki 100.000 pengamatan (9 variabel indikator dummy) dengan 1000 positif. Regresi Logistik harus bekerja dengan baik dalam kasus ini tetapi probabilitas cutoff membingungkan saya. Dalam literatur umum, kami memilih cutoff 50% untuk memprediksi 1 dan 0. Saya tidak bisa melakukan ini karena model saya memberikan nilai maksimum ~ 1%. …

11 regression  logistic  classification  generalized-linear-model  roc 

Saya ingin membandingkan 2 pengklasifikasi yang berbeda untuk masalah klasifikasi teks multi-kelas yang menggunakan dataset pelatihan besar. Saya ragu apakah saya harus menggunakan kurva ROC atau kurva belajar untuk membandingkan 2 pengklasifikasi. Di satu sisi, kurva pembelajaran berguna untuk menentukan ukuran dataset pelatihan, karena Anda dapat menemukan ukuran dataset di …

11 machine-learning  classification  roc  accuracy 

Saya bekerja dengan data yang tidak seimbang, di mana ada sekitar 40 kelas = 0 kasus untuk setiap kelas = 1. Saya dapat membedakan antara kelas menggunakan fitur individual, dan melatih Bayes naif dan classifier SVM pada 6 fitur dan data yang seimbang menghasilkan diskriminasi yang lebih baik (kurva ROC …

11 classification  svm  roc  naive-bayes  precision-recall