Pertanyaan yang diberi tag «cohens-kappa»

Saya membaca buku data mining dan disebutkan statistik Kappa sebagai sarana untuk mengevaluasi kinerja prediksi pengklasifikasi. Namun, saya tidak bisa mengerti ini. Saya juga memeriksa Wikipedia tetapi tidak membantu juga: https://en.wikipedia.org/wiki/Cohen's_kappa . Bagaimana kappa Cohen membantu dalam mengevaluasi kinerja prediksi pengklasifikasi? Apa isinya? Saya mengerti bahwa 100% kappa berarti bahwa …

131 classification  data-mining  cohens-kappa 

Statistik Kappa ( ) diperkenalkan pada tahun 1960 oleh Cohen [1] untuk mengukur kesepakatan antara dua penilai. Perbedaannya, bagaimanapun, telah menjadi sumber kontradiksi untuk beberapa waktu.κκ\kappa Pertanyaan saya adalah tentang perhitungan varians mana yang terbaik untuk digunakan dengan sampel besar. Saya cenderung percaya bahwa yang diuji dan diverifikasi oleh Fleiss …

44 estimation  variance  reliability  cohens-kappa 

Metode reliabilitas antar penilai mana yang paling tepat untuk data ordinal atau interval? Saya percaya bahwa "Probabilitas kesepakatan bersama" atau "Kappa" dirancang untuk data nominal. Sementara "Pearson" dan "Spearman" dapat digunakan, mereka terutama digunakan untuk dua penilai (meskipun mereka dapat digunakan untuk lebih dari dua penilai). Apa ukuran lain yang …

25 reliability  psychometrics  agreement-statistics  cohens-kappa 

Saya berurusan dengan masalah deteksi penipuan (seperti penilaian kredit). Dengan demikian ada hubungan yang sangat tidak seimbang antara pengamatan yang curang dan yang tidak curang. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html memberikan gambaran yang bagus tentang berbagai metrik klasifikasi. Precision and Recallatau kappakeduanya tampaknya menjadi pilihan yang baik: Salah satu cara untuk membenarkan hasil pengklasifikasi …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Saya memiliki kumpulan data 11.000+ item berbeda, yang masing-masing diklasifikasikan pada skala nominal oleh setidaknya 3 penilai berbeda di Mechanical Turk Amazon . 88 penilai yang berbeda memberikan penilaian untuk tugas tersebut, dan tidak ada penilai yang menyelesaikan lebih dari 800 penilaian. Sebagian besar memberikan secara signifikan lebih sedikit dari …

8 reliability  agreement-statistics  cohens-kappa