Praktik terbaik ketika menganalisis desain kontrol perawatan pra-pasca

Bayangkan desain umum berikut:

• 100 peserta secara acak dialokasikan untuk kelompok perlakuan atau kelompok kontrol
• variabel dependen adalah numerik dan diukur sebelum dan sesudah perawatan

Tiga opsi yang jelas untuk menganalisis data tersebut adalah:

• Uji kelompok dengan efek interaksi waktu dalam ANOVA campuran
• Lakukan ANCOVA dengan kondisi sebagai IV dan prapengukuran sebagai kovariat dan pos ukur sebagai DV
• Lakukan uji-t dengan kondisi sebagai skor perubahan IV dan pra-pasca sebagai DV

Pertanyaan:

• Apa cara terbaik untuk menganalisis data seperti itu?
• Apakah ada alasan untuk lebih menyukai satu pendekatan daripada yang lain?

Ada banyak literatur tentang topik ini (perubahan / perolehan skor), dan saya pikir referensi terbaik berasal dari domain biomedis, misalnya

Senn, S (2007). Masalah statistik dalam pengembangan obat . Wiley (bab 7 hal. 96-112)

Dalam penelitian biomedis, pekerjaan yang menarik juga telah dilakukan dalam studi uji silang (terutama dalam kaitannya dengan efek carry-over , meskipun saya tidak tahu seberapa berlaku itu untuk studi Anda).

Dari Gain Score t hingga ANCOVA F (dan sebaliknya) , dari Knapp & Schaffer, memberikan ulasan yang menarik tentang pendekatan ANCOVA vs t (yang disebut Paradox Lord). Analisis sederhana skor perubahan bukanlah cara yang direkomendasikan untuk desain pra / pasca menurut Senn dalam artikelnya. Perubahan dari baseline dan analisis kovarians ditinjau kembali (Stat. Med. 2006 25 (24)). Selain itu, menggunakan model efek campuran (misalnya untuk memperhitungkan korelasi antara dua titik waktu) tidak lebih baik karena Anda benar-benar perlu menggunakan pengukuran "pra" sebagai kovariat untuk meningkatkan presisi (melalui penyesuaian). Sangat singkat:

• $-$$-$$-$
• Varian dari estimator yang digunakan dalam ANCOVA umumnya lebih rendah daripada untuk skor mentah atau perubahan (kecuali korelasi antara pra dan pasca sama dengan 1).
• Jika hubungan sebelum / sesudah berbeda antara kedua kelompok (kemiringan), itu tidak menjadi masalah seperti untuk metode lain (pendekatan skor perubahan juga mengasumsikan bahwa hubungan itu identik antara kedua kelompok - hipotesis kemiringan paralel) ).
• Di bawah hipotesis nol tentang kesetaraan pengobatan (pada hasil), tidak ada pengobatan interaksi x baseline yang diharapkan; berbahaya untuk dicocokkan dengan model seperti itu, tetapi dalam kasus ini seseorang harus menggunakan garis tengah yang terpusat (jika tidak, efek perawatan diperkirakan pada asal kovariat).

Saya juga suka Sepuluh Skor Skor Mitos dari Edwards, meskipun berfokus pada skor perbedaan dalam konteks yang berbeda; tapi di sini ada daftar pustaka beranotasi tentang analisis perubahan pra-pasca (sayangnya, itu tidak mencakup pekerjaan yang sangat baru). Van Breukelen juga membandingkan ANOVA vs ANCOVA dalam pengaturan acak dan non-acak, dan kesimpulannya mendukung gagasan bahwa ANCOVA lebih disukai, setidaknya dalam penelitian acak (yang mencegah dari regresi ke efek rata-rata).

Daniel B. Wright membahas ini di bagian 5 dari artikelnya Berteman dengan Data Anda . Dia menyarankan (hal.130):

Satu-satunya prosedur yang selalu benar dalam situasi ini adalah sebar membandingkan skor pada waktu 2 dengan mereka pada waktu 1 untuk kelompok yang berbeda. Dalam kebanyakan kasus, Anda harus menganalisis data dalam beberapa cara. Jika pendekatannya memberikan hasil yang berbeda ... pikirkan lebih hati-hati tentang model yang tersirat oleh masing-masing.

Dia merekomendasikan artikel-artikel berikut sebagai bacaan lebih lanjut:

• Hand, DJ (1994). Mendekonstruksi pertanyaan statistik. Jurnal Masyarakat Statistik Kerajaan: A, 157, 317–356.
• Lord, FM (1967). Paradoks dalam interpretasi perbandingan kelompok. Buletin Psikologis, 72, 304–305. PDF gratis
• Wainer, H. (1991). Menyesuaikan untuk tingkat dasar diferensial: Paradoks Tuhan lagi. Buletin Psikologis, 109, 147–151. PDF gratis

Strategi yang paling umum adalah:

1. Tindakan berulang ANOVA dengan satu faktor dalam subjek (pra vs pasca tes) dan satu faktor antara subyek (pengobatan vs kontrol).
2. ANCOVA pada skor pasca perawatan, dengan skor pra-perawatan sebagai kovariat dan pengobatan sebagai variabel independen. Secara intuitif, idenya adalah bahwa uji perbedaan antara kedua kelompok benar-benar apa yang Anda cari dan termasuk skor pra-tes sebagai kovariat dapat meningkatkan daya dibandingkan dengan uji-t sederhana atau ANOVA.

Ada banyak diskusi tentang interpretasi, asumsi, dan perbedaan paradoks yang tampaknya antara kedua pendekatan ini dan pada alternatif yang lebih canggih (terutama ketika peserta tidak dapat secara acak ditugaskan untuk perawatan) tetapi mereka tetap cukup standar, saya pikir.

Salah satu sumber kebingungan yang penting adalah bahwa untuk ANOVA, efek yang menarik kemungkinan besar adalah interaksi antara waktu dan pengobatan dan bukan efek utama pengobatan. Secara kebetulan, uji-F untuk istilah interaksi ini akan menghasilkan hasil yang persis sama dengan uji-t sampel independen pada skor perolehan (yaitu skor yang diperoleh dengan mengurangi skor pra-tes dari skor pasca-tes untuk setiap peserta) sehingga Anda dapat juga pergi untuk itu.

Jika semua ini terlalu banyak, Anda tidak punya waktu untuk mengetahuinya, dan tidak dapat memperoleh bantuan dari ahli statistik, yang cepat dan kotor tetapi pendekatan yang sama sekali tidak masuk akal adalah dengan hanya membandingkan skor post-test dengan independent sample t-test, mengabaikan nilai pre-test. Ini hanya masuk akal jika peserta sebenarnya secara acak ditugaskan ke kelompok perlakuan atau kontrol .

Akhirnya, itu sendiri bukan alasan yang sangat baik untuk memilihnya tetapi saya menduga pendekatan 2 di atas (ANCOVA) adalah apa yang saat ini berlaku untuk pendekatan yang tepat dalam psikologi jadi jika Anda memilih sesuatu yang lain Anda mungkin harus menjelaskan teknik secara rinci atau untuk membenarkan diri Anda kepada seseorang yang diyakinkan, misalnya bahwa “mendapatkan skor diketahui buruk”.

ANCOVA dan tindakan berulang / model campuran untuk istilah interaksi menguji dua hipotesis yang berbeda. Rujuk ke artikel ini: artikel 1 dan artikel ini: artikel 2

Karena Anda memiliki dua cara (baik item tertentu, atau jumlah persediaan), tidak ada alasan untuk mempertimbangkan ANOVA. Uji-t berpasangan mungkin tepat; ini dapat membantu Anda memilih uji-t yang Anda butuhkan.

Apakah Anda ingin melihat hasil spesifik item, atau skor keseluruhan? Jika Anda ingin melakukan analisis item, ini mungkin tempat awal yang berguna.