Pertanyaan yang diberi tag «model-evaluation»

Ini adalah pertanyaan umum yang ditanyakan secara tidak langsung beberapa kali di sini, tetapi tidak memiliki jawaban otoritatif tunggal. Alangkah baiknya memiliki jawaban terperinci untuk ini sebagai referensi. Akurasi , proporsi klasifikasi yang benar di antara semua klasifikasi, adalah ukuran yang sangat sederhana dan sangat "intuitif", namun itu mungkin ukuran …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Saya sebelumnya menanyakan ini pada StackOverflow, tetapi sepertinya itu mungkin lebih tepat di sini, mengingat bahwa itu tidak mendapatkan jawaban pada SO. Ini semacam persimpangan antara statistik dan pemrograman. Saya perlu menulis beberapa kode untuk melakukan PCA (Principal Component Analysis). Saya telah melihat-lihat algoritma yang terkenal dan menerapkan yang ini …

54 pca  algorithms  model-evaluation  high-dimensional 

Saya perhatikan ada beberapa implementasi dari hutan acak seperti ALGLIB, Waffles dan beberapa paket R seperti randomForest. Adakah yang bisa memberi tahu saya apakah perpustakaan ini sangat optimal? Apakah mereka pada dasarnya setara dengan hutan acak seperti yang dijelaskan dalam Elemen Pembelajaran Statistik atau apakah banyak trik tambahan telah ditambahkan? …

43 random-forest  algorithms  model-evaluation 

Salah satu masalah terbesar dengan analisis kluster adalah bahwa kita mungkin harus mendapatkan kesimpulan yang berbeda ketika mendasarkan pada metode pengelompokan yang berbeda yang digunakan (termasuk metode keterkaitan yang berbeda dalam pengelompokan hierarkis). Saya ingin tahu pendapat Anda tentang ini - metode mana yang akan Anda pilih, dan bagaimana caranya. …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Baru-baru ini saya menemukan makalah yang mengusulkan menggunakan pengklasifikasi k-NN pada dataset tertentu. Para penulis menggunakan semua sampel data yang tersedia untuk melakukan validasi silang k-fold untuk nilai k yang berbeda dan melaporkan hasil validasi silang dari konfigurasi hyperparameter terbaik. Sepengetahuan saya, hasil ini bias, dan mereka seharusnya mempertahankan set …

31 cross-validation  references  model-selection  model-evaluation 

Seperti kita ketahui, ada 2 metode untuk mengevaluasi model regresi logistik dan mereka menguji hal-hal yang sangat berbeda Kekuatan prediksi: Dapatkan statistik yang mengukur seberapa baik Anda dapat memprediksi variabel dependen berdasarkan variabel independen. Pseudo R ^ 2 yang terkenal adalah McFadden (1974) dan Cox and Snell (1989). Statistik Good-of-fit …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Saya berurusan dengan masalah deteksi penipuan (seperti penilaian kredit). Dengan demikian ada hubungan yang sangat tidak seimbang antara pengamatan yang curang dan yang tidak curang. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html memberikan gambaran yang bagus tentang berbagai metrik klasifikasi. Precision and Recallatau kappakeduanya tampaknya menjadi pilihan yang baik: Salah satu cara untuk membenarkan hasil pengklasifikasi …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan 0,5?

16 roc  model-evaluation  auc 

Kompetisi Kaggle Prediksi Pengemudi Aman Porto Seguro menggunakan Skor Normalisasi Gini sebagai metrik evaluasi dan ini membuat saya ingin tahu tentang alasan pilihan ini. Apa keuntungan menggunakan skor gini yang dinormalisasi alih-alih metrik yang paling umum, seperti AUC, untuk evaluasi?

14 classification  auc  model-evaluation  gini 

Satu ukuran umum yang digunakan untuk membandingkan dua atau lebih model klasifikasi adalah dengan menggunakan area di bawah kurva ROC (AUC) sebagai cara untuk secara tidak langsung menilai kinerjanya. Dalam hal ini model dengan AUC yang lebih besar biasanya diartikan sebagai berkinerja lebih baik daripada model dengan AUC yang lebih …

13 machine-learning  classification  roc  auc  model-evaluation 

Apakah koefisien korelasi phi dan Matthews konsep yang sama? Bagaimana mereka terkait atau setara dengan koefisien korelasi Pearson untuk dua variabel biner? Saya menganggap nilai biner adalah 0 dan 1. Korelasi Pearson antara dua variabel acak Bernoulli dan y adalah:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - \mathbb{E}[y])]} {\sqrt{\text{Var}[x] …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Dalam paparan kelas saya untuk data mining, metode ketidaksepakatan diperkenalkan sebagai cara menilai kinerja model. Namun, ketika saya mengambil kelas pertama saya pada model linear, ini tidak diperkenalkan sebagai sarana validasi atau penilaian model. Penelitian online saya juga tidak menunjukkan adanya persimpangan. Mengapa metode ketidaksepakatan tidak digunakan dalam statistik klasik?

12 regression  validation  model-evaluation  out-of-sample 

Saya ingin memahami uji pasti fisher dengan lebih baik, jadi saya menyusun contoh mainan berikut ini, di mana f dan m berhubungan dengan pria dan wanita, dan n dan y berhubungan dengan "konsumsi soda" seperti ini: > soda_gender f m n 0 5 y 5 0 Jelas, ini adalah penyederhanaan …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Saya membaca tentang metrik regresi di python yang scikit-belajar panduan dan meskipun masing-masing dari mereka memiliki rumus sendiri, saya tidak bisa mengatakan secara intuitif apa perbedaan antara R2R2R^2 dan skor varian dan oleh karena itu ketika menggunakan satu atau yang lain untuk mengevaluasi model saya.

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Ini adalah skor F beta: Fβ= ( 1 + β2) ⋅ p r e c i s i o n ⋅ r e c a l l( β2⋅ p r e c i s i o n ) + r e c a l lFβ=(1+β2)⋅halrecsayassayaHain⋅recSebuahll(β2⋅halrecsayassayaHain)+recSebuahllF_\beta = (1 + \beta^2) \cdot …

10 machine-learning  precision-recall  model-evaluation