Menghitung reliabilitas antar penilai dalam R dengan jumlah peringkat variabel?

Wikipedia menyarankan bahwa salah satu cara untuk melihat reliabilitas antar penilai adalah dengan menggunakan model efek acak untuk menghitung korelasi intraclass . Contoh pembicaraan korelasi intraclass tentang melihat

dari model

"Di mana Y _ij adalah pengamatan ^ke- j dalam kelompok ^ke- i , μ adalah rata-rata keseluruhan yang tidak teramati, α _i adalah efek acak yang tidak teramati yang dibagi oleh semua nilai dalam kelompok i, dan ε _ij adalah istilah kebisingan yang tidak teramati."

Ini adalah model yang menarik terutama karena dalam data saya tidak ada penilai yang menilai semua hal (meskipun sebagian besar memiliki nilai 20+), dan hal-hal dinilai dengan jumlah variabel beberapa kali (biasanya 3-4).

Pertanyaan # 0: Apakah "grup i" dalam contoh itu ("grup i") adalah pengelompokan hal-hal yang dinilai?

Pertanyaan # 1: Jika saya mencari reliabilitas antar-penilai, bukankah saya memerlukan model efek acak dengan dua istilah, satu untuk penilai, dan satu untuk nilai barang? Bagaimanapun, keduanya memiliki variasi yang mungkin.

Pertanyaan # 2: Bagaimana saya mengekspresikan model ini dalam R?

Sepertinya pertanyaan ini memiliki proposal yang tampak bagus:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Saya melihat beberapa pertanyaan , dan sintaks parameter "acak" untuk lme tidak jelas bagi saya. Saya membaca halaman bantuan untuk lme , tetapi deskripsi untuk "acak" tidak dapat dipahami oleh saya tanpa contoh.

Pertanyaan ini agak mirip dengan panjang daftar dari pertanyaan , dengan ini yang paling dekat. Namun, sebagian besar tidak membahas R secara detail.

Model yang Anda rujuk dalam pertanyaan Anda disebut "model satu arah." Ini mengasumsikan bahwa efek baris acak adalah satu-satunya sumber varians sistematis. Dalam hal reliabilitas antar penilai, baris berhubungan dengan objek pengukuran (misalnya, subjek).

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

Namun, ada juga "model dua arah." Ini mengasumsikan bahwa ada varians yang terkait dengan efek baris acak serta efek kolom acak atau tetap. Dalam hal reliabilitas antar penilai, kolom sesuai dengan sumber pengukuran (misalnya, penilai).

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

$x_{ij}$$\bar{x}_i$

Berikut adalah definisi jika Anda menganggap efek kolom acak:

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Anda juga dapat memperkirakan nilai-nilai ini menggunakan kuadrat rata-rata dari ANOVA:

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Anda dapat menghitung koefisien ini dalam R menggunakan paket irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Referensi

McGraw, KO, & Wong, SP (1996). Membentuk kesimpulan tentang beberapa koefisien korelasi intraclass. Metode Psikologis, 1 (1), 30-46.

Shrout, PE, & Fleiss, JL (1979). Korelasi intraclass: Penggunaan dalam menilai keandalan penilai. Buletin Psikologis, 86 (2), 420–428.