Bagaimana cara membandingkan pengulangan (ICC) dari berbagai kelompok?

Saya telah menghitung nilai-nilai ICC untuk dua kelompok dan sekarang ingin membandingkan nilai-nilai ICC untuk menentukan apakah kelompok-kelompok tersebut berbeda dalam pengulangannya. Dalam literatur orang hanya menggunakan uji-t untuk membandingkan pengulangan tetapi tidak jelas bagi saya bagaimana melakukan ini.

Misalnya, dengan data dummy:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Saya bisa mendapatkan ukuran pengulangan untuk grup 1 dan 2 sebagai berikut:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Tetapi bagaimana saya sekarang dapat menentukan apakah pengulangan group1 berbeda dari group2?

r t-test intraclass-correlation repeatability

— crazjo
sumber

Saya perhatikan bahwa masing-masing grup Anda hanya memiliki 2 cluster. Ini jelas tidak ideal, dan tentu saja alasan mengapa interval kepercayaan di sekitar kedua perkiraan ICC Anda sangat luas (yang saya lihat dari jawaban @JamesStanley di bawah), setidaknya untuk dataset sampel yang Anda berikan. Dalam dataset aktual Anda , apakah Anda hanya memiliki 2 cluster per grup, atau (mudah-mudahan) lebih banyak cluster daripada ini? Jika lebih, berapa banyak per grup?

— Jake Westfall

Apa maksud Anda tepatnya dengan 2 cluster? Saya menguji dua kelompok dua kali ya, saya tidak melihat mengapa itu tidak ideal? Saya sekarang menjalankan tes permutasi untuk membandingkan ICC dari kedua kelompok (r = 0,77, 95% CI: 0,54, 0,91 dan untuk kelompok 2 r = 0,24, 95% CI: 0,07, 0,57) yang mengungkapkan kelompok 1 memiliki pengulangan yang secara signifikan lebih tinggi daripada kelompok itu. 2.

— crazjo

Mungkin kita harus kembali. ICC berlaku untuk data yang dikelompokkan (yaitu, bertingkat). Ini adalah cara untuk mengukur seberapa mirip rata-rata dua pengamatan yang diambil dari cluster yang sama, relatif terhadap dua pengamatan yang diambil secara acak dari dataset yang mengabaikan clustering. Dalam praktiknya ini dihitung sebagai rasio varians antara-cluster dengan total varians. Jadi jika Anda hanya memiliki 2 cluster di masing-masing grup Anda, maka estimasi varians antar-cluster hanya didasarkan pada 2 titik data. Bayangkan Anda mencoba memperkirakan, katakanlah, mean atau standar deviasi suatu dataset yang hanya terdiri dari 2 titik data!

— Jake Westfall

Adapun tes permutasi Anda, saya akan sangat tertarik untuk melihat persis bagaimana ini dilakukan. Saya berpikir untuk memposting solusi berdasarkan tes bootstrap atau permutasi. Perhatikan bahwa hal semacam ini harus dilakukan dengan sangat hati-hati dengan data bertingkat!

— Jake Westfall

Mengesampingkan masalah materi tentang pertanyaan penelitian dan data demo (dan ukuran sampel untuk mendapatkan estimasi ICC yang masuk akal), output yang Anda dapatkan dari ICCestfungsi memiliki interval kepercayaan terlampir: sebagai titik awal untuk membandingkan kelompok, Anda dapat mempertimbangkan apakah ada tumpang tindih antara setiap interval kepercayaan dan estimasi poin ICC kelompok lain.

Bagaimanapun, melaporkan estimasi titik ICC dan interval kepercayaan untuk masing-masing kelompok akan lebih berguna (dan karenanya saya akan merekomendasikan melaporkan ini dalam contoh apa pun) daripada melaporkan hanya perkiraan titik dan hasil dari beberapa jenis uji hipotesis.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986

— James Stanley
sumber

Terima kasih James, output yang saya dapatkan dari data aktual menunjukkan untuk grup 1: r = 0.77, 95% CI: 0.54, 0.91dan untuk grup 2 r = 0.77, 95% CI: 0.07, 0.57. Anda dapat melihat kelompok 1 memiliki konsistensi yang relatif sangat tinggi sementara kelompok 2 pada rata-rata konsistensi sedang tetapi interval kepercayaan dari kedua kelompok hampir tidak tumpang tindih. Bolehkah saya menulis dalam kelompok naskah 2 yang jauh lebih tidak konsisten daripada kelompok 1 (statistik di atas)? Saya mengerti Anda menyarankan ini akan lebih baik daripada menjalankan tes untuk membandingkan mereka tetapi tetap akan menyenangkan untuk mengetahui bagaimana membandingkan nilai-nilai ICC dari dua kelompok.

— crazjo

Saya akan merasa nyaman membaca menilai kedua ICC yang dicetak dalam komentar Anda sebagai menunjukkan reliabilitas yang berbeda (saya berasumsi bahwa grup 2 r memiliki kesalahan ketik dan sebenarnya ~ = 0,32) - tumpang tindihnya adalah antara interval kepercayaan berakhir, daripada interval kepercayaan yang diberikan dan estimasi titik berlawanan, yang jika ini adalah perbedaan rata-rata mungkin akan sesuai dengan hasil uji-t "signifikan" pada p <0,05.

— James Stanley