Apa yang salah dengan (beberapa) pseudo-randomization

Saya menemukan sebuah penelitian di mana pasien, yang semuanya berusia di atas 50, adalah pseudo-random pada tahun kelahiran. Jika tahun kelahiran adalah angka genap, perawatan biasa, jika angka ganjil, intervensi.

Lebih mudah untuk diimplementasikan, lebih sulit untuk menumbangkan (mudah untuk memeriksa pengobatan apa yang seharusnya diterima pasien), mudah diingat (tugas berjalan selama beberapa tahun). Tapi tetap saja, saya tidak suka, saya merasa pengacakan yang tepat akan lebih baik. Tapi saya tidak bisa menjelaskan alasannya.

Apakah saya salah karena merasakan itu, atau adakah alasan yang baik untuk memilih pengacakan 'nyata'?

Anda benar untuk bersikap skeptis. Secara umum, seseorang harus menggunakan pengacakan 'nyata', karena biasanya seseorang tidak memiliki semua pengetahuan tentang faktor-faktor yang relevan (tidak dapat diobservasi). Jika salah satu dari mereka yang tidak dapat diobservasi berkorelasi dengan usia yang ganjil atau genap, maka itu juga berkorelasi dengan apakah mereka menerima pengobatan atau tidak. Jika ini masalahnya, kami tidak dapat mengidentifikasi efek pengobatan: efek yang kami amati dapat disebabkan oleh perawatan, atau karena faktor yang tidak teramati.

Ini bukan masalah dengan pengacakan nyata, di mana kami tidak mengharapkan adanya ketergantungan antara pengobatan dan yang tidak dapat diobservasi (meskipun, tentu saja, untuk sampel kecil mungkin ada di sana).

Untuk membangun sebuah cerita mengapa prosedur pengacakan ini mungkin menjadi masalah, anggap penelitian ini hanya memasukkan subyek yang berada pada usia 17/18 ketika, katakanlah, perang Vietnam dimulai. Dengan 17 tidak ada kesempatan untuk direkrut (koreksi saya jika saya salah tentang itu), sementara ada kesempatan di 18. Dengan asumsi kesempatan itu tidak dapat diabaikan dan bahwa pengalaman perang mengubah orang, itu menyiratkan bahwa, bertahun-tahun kemudian, kedua kelompok ini berbeda, meskipun mereka hanya berjarak 1 tahun. Jadi mungkin pengobatan (obat) sepertinya tidak bekerja, tetapi karena hanya kelompok dengan veteran Vietnam yang menerimanya, ini mungkin sebenarnya karena fakta bahwa itu tidak bekerja pada orang dengan PTSD (atau faktor lain yang berkaitan dengan menjadi veteran). Dengan kata lain, Anda perlu kedua kelompok (pengobatan dan kontrol) untuk menjadi identik, kecuali untuk perawatan, untuk mengidentifikasi efek pengobatan.

Jadi, kecuali Anda dapat mengesampingkan bahwa tidak ada perbedaan yang tidak teramati di antara kelompok-kelompok (tetapi bagaimana Anda melakukannya jika tidak diamati?), Pengacakan nyata lebih disukai.

Ini adalah latihan yang baik untuk menegakkan pandangan pelawan dari waktu ke waktu, jadi izinkan saya mulai dengan menawarkan beberapa alasan yang mendukung bentuk pengacakan semu ini. Mereka, pada prinsipnya, sedikit berbeda dari bentuk pengambilan sampel sistematis lainnya , seperti memperoleh sampel media lingkungan di titik-titik kisi di lapangan atau mengambil sampel setiap pohon lain di kebun, dan oleh karena itu pengambilan sampel ini mungkin menikmati keuntungan yang sebanding. .

Analogi di sini sempurna: usia "dikisi" oleh tahun mulai dari asal nol dan tugas untuk kelompok berganti-ganti sepanjang kisi (satu dimensi) ini. Beberapa keuntungan dari pendekatan ini adalah untuk menjamin luas, bahkan penyebaran sampel di seluruh lapangan atau kebun (atau usia, dalam hal ini), yang membantu meratakan pengaruh yang terkait dengan lokasi (atau waktu). Ini bisa sangat berguna ketika teori menunjukkan bahwa lokasi adalah faktor utama dalam variasi respons. Selain itu, kecuali untuk sampel yang sangat kecil, menganalisis data seolah-olahmereka adalah sampel acak sederhana yang memperkenalkan kesalahan yang relatif sedikit. Lebih lanjut, beberapa pengacakan dimungkinkan: di lapangan kita dapat secara acak memilih asal dan orientasi kisi. Dalam kasus ini, setidaknya kita dapat mengacak apakah tahun genap merupakan kontrol atau subjek pengobatan.

Keuntungan lain dari pengambilan sampel menggunakan grid adalah untuk mendeteksi variasi yang dilokalkan. Di lapangan, ini akan menjadi "kantong" dari respons yang tidak biasa. Secara statistik, kita dapat menganggapnya sebagai manifestasi korelasi spasial. Dalam situasi saat ini, jika ada kemungkinan rentang usia yang relatif sempit mengalami respons yang tidak biasa, maka desain grid adalah pilihan yang sangat baik, karena desain acak murni dapat secara kebetulan mengandung kesenjangan besar dalam usia dalam salah satu kelompok. (Tapi desain yang lebih baik mungkin untuk stratifikasi: gunakan paritas usia untuk membentuk dua strata analitis dan kemudian, secara independen dalam setiap strata, mengacak pasien menjadi kelompok kontrol dan pengobatan.)

Sayangnya, pertahanan ini berantakan begitu kita memahami berapa usia sebenarnya yang dilaporkan. Data Sensus AS menunjukkan bahwa (1) usia yang dilaporkan sendiri cenderung dibulatkan menjadi kelipatan lima (saya telah melihat ini dalam analisis data kelompok blok pedesaan) dan (2) kecenderungan ini dikaitkan dengan indikator pendidikan rendah atau status sosial ekonomi. (Juga diketahui, walaupun sulit untuk diuji, bahwa angka terakhir dalam banyak usia yang dilaporkan sendiri adalah , bahwa orang-orang di bidang pekerjaan tertentu, seperti akting, cenderung mengurangi usia yang dilaporkan, dan yang lain akan melebih-lebihkan usia mereka. untuk berbagai keperluan.) Dengan demikian, setidaknya pada tingkat yang sedikit di setidaknya beberapa wilayah AS (dan bahkan lebih lagi di tempat lain di dunia), paritas usia seseorang yang dilaporkan kemungkinan besar$9$dikaitkan dengan faktor-faktor penting untuk percobaan. Ini membuat kekhawatiran dalam pertanyaan kurang dari hipotetis: itu nyata. Pada titik ini, jawaban sebelumnya di utas ini dapat menyajikan pemikiran tambahan yang ingin saya buat, jadi saya akan berhenti dan mengundang Anda untuk membacanya kembali.

Saya setuju contoh yang Anda berikan cukup tidak berbahaya tetapi ...

Jika agen yang terlibat (baik orang yang melakukan intervensi atau orang yang mendapatkan intervensi) menjadi sadar akan skema penugasan mereka dapat memanfaatkannya. Seleksi diri seperti itu harus cukup jelas mengapa itu bermasalah di sebagian besar desain eksperimental.

Salah satu contoh yang saya ketahui dalam kriminologi adalah seperti ini; Eksperimen itu dimaksudkan untuk menguji efek jera malam di penjara setelah perselisihan domestik vs. hanya meminta pelaku untuk pergi malam itu. Petugas diberi buklet lembar, dan warna lembar saat ini di atas dimaksudkan untuk mengidentifikasi perlakuan apa yang dilakukan pelaku. dalam insiden tertentu seharusnya menerima.

Yang akhirnya terjadi adalah petugas sengaja tidak menaati desain penelitian, dan memilih selembar berdasarkan preferensi pribadi untuk apa yang harus dilakukan kepada pelaku. Tidaklah aneh untuk mencurigai kecurangan selama bertahun-tahun, setidaknya mungkin dalam contoh Anda.

Pengacakan lengkap berdasarkan distribusi acak tidak dapat diprediksi, dalam kasus Anda diketahui bahwa suatu kasus akan ditugaskan untuk Intervensi atau Kontrol sebelum konfirmasi kelayakan.