Perbedaan dasar dalam RCT: Variabel mana (jika ada) yang harus dimasukkan sebagai kovariat?

Baru-baru ini saya menyelesaikan studi di mana saya secara acak menugaskan peserta ke salah satu dari dua kelompok perlakuan. Saya menguji peserta pada awal, segera pasca intervensi, 1 bulan, dan 4 bulan pada sejumlah variabel hasil yang agak besar. Saya berencana menjalankan beberapa ANOVA campuran untuk memeriksa interaksi kelompok x waktu. Beberapa perbandingan akan menjadi perbandingan 2 (kelompok) x 2 (waktu: baseline dan pasca-intervensi) dan beberapa akan menjadi perbandingan 2 (grup) x 3 (waktu: baseline, 1 bulan, 4 bulan).

Sebelum memulai analisis saya, saya membandingkan dua kelompok perlakuan pada semua variabel awal. Saya menemukan bahwa kelompok berbeda pada 4 variabel dasar jika saya menggunakan tingkat alpha 0,05 atau 2 variabel dasar jika saya menggunakan tingkat alpha 0,01 untuk membandingkan kelompok.

Saya punya dua pertanyaan tentang ini:

1. Level alfa apa yang harus saya gunakan untuk membandingkan grup pada awal? Saya sedang berpikir tingkat alfa 0,01 karena saya membandingkan kedua kelompok pada 24 karakteristik dasar dan saya pikir saya harus memilih tingkat alfa yang lebih ketat daripada 0,05 untuk mengurangi tingkat kesalahan keluarga karena melihat sejumlah besar tes sedang dilakukan dilakukan, tetapi dari bacaan saya tampaknya kebanyakan orang menggunakan 0,05. Apa yang kamu sarankan?

2. Apa yang harus saya lakukan tentang perbedaan-perbedaan ini? Saya dapat memasukkan variabel-variabel ini sebagai kovariat, tetapi ukuran sampel saya cukup kecil dan menggunakan 4 kovariat tampaknya tidak sesuai (yang juga sebagian alasan mengapa saya lebih suka hanya menerima perbedaan jika mereka signifikan pada tingkat 0,05)

Bantuan apa pun akan sangat dihargai!

Seperti yang ditulis Stephen Senn, tidak tepat untuk membandingkan distribusi baseline dalam studi acak. Cara saya suka berbicara tentang ini adalah dengan mengajukan pertanyaan "di mana Anda berhenti?", Yaitu, berapa banyak kovariat garis dasar lainnya yang harus Anda kembalikan dan coba ambil? Anda akan menemukan kovariat kontra-balancing jika Anda terlihat cukup keras.

Dasar untuk memilih model bukanlah perbedaan post-hoc melainkan pengetahuan materi pelajaran apriori tentang variabel mana yang cenderung menjadi prediktor penting dari variabel respons. Versi awal dari variabel respons tentu saja merupakan prediktor yang mendominasi tetapi ada yang lain yang cenderung penting. Tujuannya adalah menjelaskan heterogenitas yang dapat dijelaskan dalam hasil untuk memaksimalkan presisi dan kekuatan. Hampir tidak ada peran untuk pengujian signifikansi statistik dalam formulasi model.

Model yang ditentukan sebelumnya akan menangani perbedaan kesempatan pada variabel yang penting - mereka yang memprediksi hasilnya.

Biasanya apa yang harus Anda perhatikan dalam membandingkan kedua kelompok pada awal bukanlah signifikansi statistik perbedaan tetapi ukuran perbedaan: apakah ada perbedaan yang cukup besar untuk diteliti? Cukup besar untuk memengaruhi perbandingan kelompok dan hubungan variabel yang menjadi fokus penelitian? Cukup besar sehingga menyesuaikan untuk itu (dengan menggunakannya sebagai kovariat) diperlukan?

Sekarang, kasing Anda sedikit menarik, bahkan dengan penetapan acak, Anda memiliki 4 dari 24 variabel yang menunjukkan perbedaan signifikan pada tingkat 0,05 (17% daripada yang diharapkan 5%). Itu mungkin tampak memprihatinkan untuk proses pengacakan Anda atau aspek lain dari penelitian ini. Tetapi secara teoritis, jika pengacakan dilakukan dengan sempurna dan tidak ada gesekan pada kedua kelompok sesudahnya, hasil yang ekstrem ini atau lebih seharusnya terjadi 2,4% dari waktu, berdasarkan 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Bagaimanapun, itu bukan kejadian yang jarang terjadi. Apa yang Anda miliki bisa menjadi sekumpulan perbedaan acak. Saya akan tetap dengan penilaian berdasarkan besarnya perbedaan.

+1 ke @FrankHarrell. Saya mungkin menambahkan satu poin kecil. Jika Anda secara acak menugaskan peserta Anda ke dalam kelompok, setiap perbedaan 'signifikan' dalam nilai kovariat sebelum intervensi adalah kesalahan tipe I.