Pertanyaan yang diberi tag «agreement-statistics»

Jika Anda membaca buletin komunitas akhir-akhir ini, kemungkinan Anda telah melihat The Hunting of the Snark, sebuah posting di blog resmi StackExchange oleh Joel Spolsky, CEO jaringan StackExchange. Dia membahas analisis statistik yang dilakukan pada sampel komentar SE untuk mengevaluasi "keramahan" mereka dari perspektif pengguna luar. Komentar diambil secara acak …

25 reliability  agreement-statistics  methodology 

Metode reliabilitas antar penilai mana yang paling tepat untuk data ordinal atau interval? Saya percaya bahwa "Probabilitas kesepakatan bersama" atau "Kappa" dirancang untuk data nominal. Sementara "Pearson" dan "Spearman" dapat digunakan, mereka terutama digunakan untuk dua penilai (meskipun mereka dapat digunakan untuk lebih dari dua penilai). Apa ukuran lain yang …

25 reliability  psychometrics  agreement-statistics  cohens-kappa 

Sekitar 600 siswa memiliki skor pada penilaian yang luas, yang dapat dianggap memiliki keandalan / validitas yang baik. Penilaian dinilai dari 100, dan ini merupakan tes pilihan ganda yang ditandai oleh komputer. Ke-600 siswa itu juga mendapat nilai pada penilaian kedua, minor,. Dalam penilaian kedua ini, mereka dipisahkan menjadi 11 …

13 agreement-statistics 

Saya memiliki beberapa coder independen yang mencoba mengidentifikasi peristiwa dalam rangkaian waktu - dalam hal ini, menonton video percakapan tatap muka dan mencari perilaku nonverbal tertentu (misalnya, anggukan kepala) dan mengkode waktu dan kategori masing-masing peristiwa. Data ini dapat diperlakukan sebagai seri waktu diskrit dengan laju pengambilan sampel tinggi (30 …

13 time-series  reliability  agreement-statistics 

12 guru mengajar 600 siswa. 12 kohort yang diajarkan oleh guru-guru ini memiliki ukuran dari 40 hingga 90 siswa, dan kami mengharapkan perbedaan sistematis antara kohort, karena siswa pascasarjana dialokasikan secara tidak proporsional ke kohort tertentu, dan pengalaman sebelumnya telah menunjukkan bahwa skor rata-rata siswa pascasarjana jauh lebih tinggi daripada …

9 teaching  agreement-statistics 

Wikipedia menyarankan bahwa salah satu cara untuk melihat reliabilitas antar penilai adalah dengan menggunakan model efek acak untuk menghitung korelasi intraclass . Contoh pembicaraan korelasi intraclass tentang melihat σ2ασ2α+σ2ϵσα2σα2+σϵ2\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2} dari model Yij=μ+αi+ϵijYij=μ+αi+ϵijY_{ij} = \mu + \alpha_i + \epsilon_{ij} "Di mana Y ij adalah pengamatan ke- j dalam kelompok ke- i …

9 r  reliability  random-effects-model  agreement-statistics 

Koefisien korelasi Matthews ( ) adalah ukuran untuk mengukur kualitas klasifikasi biner ([Wikipedia] [1]). diberikan untuk klasifikasi biner yang menggunakan true positive ( ), false positive ( ), false negative ( ), dan nilai true negative ( ) seperti yang diberikan di bawah ini:MCCMCC\textrm{MCC}MCCMCC\textrm{MCC}TPTPTPFPFPFPFNFNFNTNTNTN MCC =TP× TN- FP× FN( TP+ …

9 machine-learning  classification  multi-class  agreement-statistics 

Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Peserta dinilai dua kali, dengan 2 peringkat dipisahkan oleh 3 tahun. Untuk sebagian besar peserta peringkat dilakukan oleh penilai yang berbeda, tetapi untuk beberapa (<10%) penilai yang sama melakukan kedua peringkat. Ada 8 penilai sama sekali, dengan 2 melakukan penilaian di kedua titik waktu. Sekarang, karena peringkat adalah aspek kemampuan …

8 reliability  psychometrics  agreement-statistics  intraclass-correlation 

Saya memiliki kumpulan data 11.000+ item berbeda, yang masing-masing diklasifikasikan pada skala nominal oleh setidaknya 3 penilai berbeda di Mechanical Turk Amazon . 88 penilai yang berbeda memberikan penilaian untuk tugas tersebut, dan tidak ada penilai yang menyelesaikan lebih dari 800 penilaian. Sebagian besar memberikan secara signifikan lebih sedikit dari …

8 reliability  agreement-statistics  cohens-kappa 

Latar belakang: Delapan dokter masing-masing menilai 54 pasien yang sama pada ukuran persuasif (skala 1-7 Likert). Nilai rata-rata pada ukuran persuasif pada akhirnya akan menjadi ukuran hasil percobaan saya. Reliabilitas antar penilai dikuantifikasi sebagai koefisien korelasi intraclass (ICC), menggunakan model efek acak dua arah dengan konsistensi. Sayangnya, reliabilitas antar penilai …

8 reliability  agreement-statistics