Korelasi dan agregasi intraclass

8

Bayangkan itu:

Anda memiliki sampel 1000 tim masing-masing dengan 10 anggota.
Anda mengukur fungsi tim dengan bertanya kepada setiap anggota tim seberapa baik menurut mereka tim mereka berfungsi menggunakan skala numerik multi-item yang andal.
Anda ingin menggambarkan sejauh mana ukuran efektivitas tim adalah properti dari keyakinan istimewa anggota tim atau properti dari kepercayaan bersama tentang tim.

Dalam situasi ini dan terkait (misalnya, agregasi ke organisasi), banyak peneliti melaporkan korelasi intraclass (misalnya, Tabel 1 dalam Campion & Medsker, 1993 ). Jadi, pertanyaan saya adalah:

Label deskriptif apa yang akan Anda lampirkan pada nilai-nilai berbeda dari korelasi intra-kelas? Yaitu, tujuannya adalah untuk benar-benar menghubungkan nilai-nilai korelasi intra-kelas dengan bahasa kualitatif seperti: "Ketika korelasi intraclass lebih besar dari x, itu menunjukkan bahwa sikap secara moderat / sedang / kuat dibagikan kepada anggota tim."
Apakah Anda pikir korelasi intraclass adalah statistik yang sesuai atau akankah Anda menggunakan strategi yang berbeda?

— Jeromy Anglim
sumber

Bukan untuk memulai sub-pertanyaan, tapi saya tidak pernah mengerti kegunaan korelasi intra-kelas; itu mengejutkan saya bahwa skenario yang Anda gambarkan dapat ditangkap secara memadai dengan berbicara tentang (1) varians dari rata-rata tim dan (2) varians dalam rata-rata dalam tim.

— Mike Lawrence

Saya mengalami kesulitan memahami ukuran dependen dalam pertanyaan Anda. Bagaimana efektivitas tim diukur? Ketika Anda mengatakan "ukuran efektivitas tim", sepertinya Anda berbicara tentang ukuran "fungsi tim" Anda. Jika demikian, bukankah ukuran dependen itu tentu kriteria terkontaminasi?

— russellpierce

@drknexus Dalam studi tim yang khas, setiap anggota tim ditanya tentang misalnya tingkat persetujuan mereka dengan pernyataan seperti "tim saya berkinerja baik", "anggota tim rukun satu sama lain", "tim saya menangani konflik secara konstruktif" .. Dengan demikian pertanyaannya adalah sejauh mana keyakinan seperti itu dibagikan oleh anggota tim.

— Jeromy Anglim

4

Saya pikir (1) bukan pertanyaan statistik tetapi satu bidang studi. Misalnya, dalam contoh yang dijelaskan, tergantung pada mereka yang mempelajari psikologi kelompok untuk menentukan bahasa yang sesuai untuk kekuatan ICC. Ini analog dengan korelasi Pearson - apa yang merupakan 'kuat' berbeda tergantung pada apakah seseorang bekerja, misalnya, sosiologi atau fisika.

(2) sampai taraf tertentu juga bidang-bidang tertentu - tergantung pada apa yang ingin diukur dan dijelaskan oleh para peneliti. Tetapi dari sudut pandang statistik, ICC adalah metrik yang masuk akal untuk keterkaitan dalam tim. Namun saya setuju dengan Mike bahwa ketika Anda mengatakan Anda ingin

"jelaskan sejauh mana ukuran efektivitas tim adalah properti dari keyakinan istimewa anggota tim atau properti dari keyakinan bersama tentang tim"

maka mungkin lebih tepat untuk menggunakan komponen varians dalam bentuk mentah daripada mengubahnya menjadi ICC.

Untuk memperjelas, pikirkan ICC yang dihitung dalam model campuran. Untuk model campuran level tunggal dengan intersep level grup acak $b_i \sim N(0, \sigma^2_b)$ dan kesalahan dalam grup $\epsilon_{ij} \stackrel{\mathrm{iid}}{\sim} N(0, \sigma^2)$ , $\sigma^2_b$ menjelaskan jumlah variasi antara tim dan $\sigma^2$ menjelaskan variasi dalam tim. Kemudian, untuk satu tim, kami mendapatkan matriks tanggapan kovarians $\sigma^2 \mathbf{I} + \sigma^2_b \mathbf{1}\mathbf{1}'$ yang ketika dikonversi ke matriks korelasi adalah $\frac{\sigma^2}{\sigma^2 + \sigma^2_b} \mathbf{I} + \frac{\sigma^2_b}{\sigma^2 + \sigma^2_b} \mathbf{1}\mathbf{1}'$ . Begitu, $\frac{\sigma^2_b}{\sigma^2 + \sigma^2_b} = \mathrm{ICC}$ menggambarkan tingkat korelasi antara respons efektivitas dalam suatu tim, tetapi sepertinya Anda mungkin lebih tertarik $\sigma^2$ dan $\sigma^2_b$ , atau mungkin $\frac{\sigma^2}{\sigma^2_b}$ .

— Kingsford Jones
sumber

1

1) Dengan korelasi, Anda tidak pernah benar-benar dapat memberikan cut-off yang masuk akal, tetapi aturan umum dari korelasi normal berlaku.

2) Mengenai kesesuaian ICC: tergantung pada data, ICC setara dengan uji-F (lihat misalnya Commenges & Jacqmin, 1994 dan Kistner & Muller, 2004 ). Jadi pada intinya, kerangka kerja model campuran dapat memberi tahu Anda setidaknya sebanyak tentang hipotesis Anda, dan memungkinkan untuk secara bersamaan menguji lebih banyak hipotesis daripada ICC.

Cronbach $\alpha$ juga terkait langsung dengan ICC, dan tindakan lain yang sering dilaporkan, meskipun dalam konteks kesepakatan antara item dalam suatu kelompok. Pendekatan ini berasal dari kuesioner psikologis, di mana batas 0,7 agak sering digunakan untuk menentukan apakah pertanyaan benar-benar dikelompokkan ke dalam faktor yang diteliti.

— Joris Meys
sumber

1

Alfa Cronbach pada dasarnya adalah ukuran konsistensi internal, yaitu korelasi antar item. Ini menderita dari banyak jebakan meskipun, terutama fakta bahwa itu meningkat dengan meningkatnya # item (bahkan mungkin negatif, meskipun itu adalah rasio varian!). Saya pikir kita akan fokus di sini untuk menggambarkan variasi / homogenitas pada tingkat individu dalam tim, jadi memikirkan pemodelan efek campuran atau model hierarkis adalah titik awal yang baik.

— chl

1

Paul Bliese memiliki artikel yang membahas korelasi intraclass dalam penelitian tim. Dia menulis itu

Dalam pengalamannya yang luas dengan data [tim] Angkatan Darat AS ... ia tidak pernah menemukan nilai ICC (1) lebih besar dari 0,30 [, dan bahwa ia] biasanya [melihat] nilai antara 0,05 dan 0,20.

Dia kemudian menyarankan bahwa dia akan menjadi

terkejut menemukan nilai ICC (1) lebih besar dari 0,30 di sebagian besar penelitian lapangan terapan.

Saya telah membaca artikel yang mengutip artikel ini, bisa dibilang tidak tepat, menunjukkan nilai ICC (1) lebih besar dari 0,05 diperlukan untuk membenarkan agregasi.

Referensi

Bliese, PD (2000). Perjanjian dalam kelompok, non-independensi, dan keandalan: Implikasi untuk agregasi dan analisis data. PDF

— Jeromy Anglim
sumber