Keandalan antar penilai untuk data ordinal atau interval

Metode reliabilitas antar penilai mana yang paling tepat untuk data ordinal atau interval?

Saya percaya bahwa "Probabilitas kesepakatan bersama" atau "Kappa" dirancang untuk data nominal. Sementara "Pearson" dan "Spearman" dapat digunakan, mereka terutama digunakan untuk dua penilai (meskipun mereka dapat digunakan untuk lebih dari dua penilai).

Apa ukuran lain yang cocok untuk data ordinal atau interval, yaitu lebih dari dua penilai?

Statistik Kappa ( ) adalah indeks kualitas yang membandingkan perjanjian yang diamati antara 2 penilai pada skala nominal atau ordinal dengan perjanjian yang diharapkan secara kebetulan saja (seolah-olah penilai sedang menyerah). Ekstensi untuk kasus beberapa penilai ada (2, hlm. 284–291). Dalam kasus data ordinal , Anda dapat menggunakan κ tertimbang , yang pada dasarnya dibaca sebagai κ biasa dengan elemen off-diagonal berkontribusi pada ukuran perjanjian. Fleiss (3) memberikan pedoman untuk menafsirkan nilai κ tetapi ini hanyalah aturan praktis.$\kappa$ $\kappa$$\kappa$$\kappa$

The statistik adalah asimtotik setara dengan ICC diperkirakan dari dua arah efek acak ANOVA, tapi tes signifikansi dan SE yang berasal dari kerangka ANOVA biasa tidak berlaku lagi dengan data biner. Lebih baik menggunakan bootstrap untuk mendapatkan interval kepercayaan (CI). Fleiss (8) membahas hubungan antara kappa tertimbang dan korelasi intraclass (ICC).$\kappa$

Perlu dicatat bahwa beberapa psikometri tidak begitu menyukai karena dipengaruhi oleh prevalensi objek pengukuran seperti nilai prediksi dipengaruhi oleh prevalensi penyakit yang dipertimbangkan, dan ini dapat menyebabkan hasil yang paradoks.$\kappa$

Reliabilitas antar penilai untuk penilai dapat diperkirakan dengan koefisien Kendall dari konkordansi, W . Ketika jumlah item atau unit yang diberi peringkat n > 7 , k ( n - 1 ) W ∼ χ 2 ( n - 1 ) . (2, hlm. 269–270). Perkiraan asimptotik ini berlaku untuk nilai moderat n dan k (6), tetapi dengan kurang dari 20 item F atau tes permutasi lebih cocok (7). Ada hubungan dekat antara Spearman ρ dan Kendall's $k$$W$$n > 7$$k(n − 1)W \sim \chi^2(n − 1)$$n$$k$$F$$\rho$$W$statistik: dapat langsung dihitung dari rata-rata korelasi Spearman berpasangan (hanya untuk pengamatan yang tidak terikat).$W$

Korelasi polikorik (data ordinal) juga dapat digunakan sebagai ukuran kesepakatan antar penilai. Memang, mereka mengizinkan

• memperkirakan apa yang akan menjadi korelasi jika peringkat dibuat pada skala berkelanjutan,
• uji homogenitas marginal antara penilai.

Bahkan, dapat ditunjukkan bahwa ini adalah kasus khusus pemodelan sifat laten, yang memungkinkan untuk mengendurkan asumsi distribusi (4).

Tentang pengukuran kontinu (atau lebih diasumsikan), ICC yang mengukur proporsi varians yang disebabkan oleh variasi antar-subjek baik-baik saja. Sekali lagi, CI bootstraped direkomendasikan. Seperti kata @ars, pada dasarnya ada dua versi - perjanjian dan konsistensi - yang berlaku dalam kasus studi perjanjian (5), dan yang terutama berbeda pada cara jumlah kuadrat dihitung; "konsistensi" ICC umumnya diperkirakan tanpa mempertimbangkan interaksi Item × Rater. Kerangka kerja ANOVA bermanfaat dengan desain blok khusus di mana orang ingin meminimalkan jumlah peringkat ( BIBD ) - pada kenyataannya, ini adalah salah satu motivasi asli dari karya Fleiss. Ini juga cara terbaik untuk menggunakan banyak penilai. Perpanjangan alami dari pendekatan ini disebut Teori Generalizability . Tinjauan singkat diberikan dalam Model Penilai: Pengantar , jika tidak, referensi standar adalah buku Brennan, ditinjau dalam Psychometrika 2006 71 (3) .

Mengenai referensi umum, saya merekomendasikan bab 3 dari Statistics in Psychiatry , dari Graham Dunn (Hodder Arnold, 2000). Untuk perawatan yang lebih lengkap dari studi reliabilitas, referensi terbaik hingga saat ini adalah

Dunn, G (2004). Desain dan Analisis Studi Keandalan . Arnold. Lihat ulasan di International Journal of Epidemiology .

Pengantar online yang baik tersedia di situs web John Uebersax, Intraclass Correlation, dan Metode Terkait ; itu termasuk diskusi tentang pro dan kontra dari pendekatan ICC, terutama yang berkaitan dengan skala ordinal.

Paket R yang relevan untuk penilaian dua arah (pengukuran ordinal atau kontinu) ditemukan di Tampilan Tugas Psikometrik ; Saya biasanya menggunakan paket psy , psych , atau irr . Ada juga paket persetujuan tetapi saya tidak pernah menggunakannya. Untuk berurusan dengan lebih dari dua penilai, paket lme4 adalah cara untuk membuatnya memungkinkan untuk dengan mudah memasukkan efek acak, tetapi sebagian besar desain keandalan dapat dianalisis menggunakan aov()karena kita hanya perlu memperkirakan komponen varian.

Referensi

1. J Cohen. Kappa tertimbang: Perjanjian skala nominal dengan ketentuan untuk skala ketidaksepakatan kredit parsial. Buletin Psikologis , 70 , 213–220, 1968.
2. S Siegel dan Jr N John Castellan. Statistik Nonparametrik untuk Ilmu Perilaku . McGraw-Hill, edisi kedua, 1988.
3. JL Fleiss. Metode Statistik untuk Tarif dan Proporsi . New York: Wiley, Edisi kedua, 1981.
4. JS Uebersax. Koefisien korelasi tetrakorik dan polikorik . Metode Statistik untuk situs web Perjanjian Penilai, 2006. Tersedia di: http://john-uebersax.com/stat/tetra.htm . Diakses 24 Februari 2010.
5. PE Shrout dan JL Fleiss. Korelasi intraclass: Penggunaan dalam menilai keandalan penilai . Buletin Psikologis , 86 , 420–428, 1979.
6. MG Kendall dan B Babington Smith. Masalah peringkat m . Sejarah Statistik Matematika , 10 , 275–287, 1939.
7. P. Legendre Koefisien konkordansi . Di NJ Salkind, editor, Encyclopedia of Research Design . SAGE Publications, 2010.
8. JL Fleiss. Kesetaraan kappa tertimbang dan koefisien korelasi intraclass sebagai ukuran keandalan . Pengukuran Pendidikan dan Psikologis , 33 , 613-619, 1973.

The intra-korelasi dapat digunakan untuk data ordinal. Tetapi ada beberapa peringatan, terutama bahwa penilai tidak dapat dibedakan. Untuk lebih lanjut tentang ini dan bagaimana memilih di antara berbagai versi ICC, lihat:

• Korelasi intraclass: digunakan dalam menilai keandalan penilai (Shrout, Fleiss, 1979)