Pengacakan sampel non-acak

Saya selalu sedikit terkejut melihat iklan psikologis untuk berpartisipasi dalam studi eksperimental. Yang pasti, orang yang merespons iklan ini tidak diambil secara acak dan karenanya merupakan populasi yang dipilih sendiri.

Karena diketahui bahwa pengacakan menyelesaikan masalah pemilihan sendiri, saya bertanya-tanya apakah pengacakan sampel non-acak benar-benar mengubah apa pun.

Bagaimana menurut anda ? Dan juga, apa yang harus kita lakukan dari semua eksperimen psikologis ini berdasarkan sampel yang dipilih sendiri?

Pengacakan dalam sampel non-acak masih dapat menunjukkan efek yang tidak cukup dijelaskan oleh variasi acak.

Sebagai contoh, bayangkan kita memiliki populasi dengan dua subkelompok yang tidak dikenal (dengan karakteristik yang agak berbeda *) dengan ukuran yang kira-kira sama, tetapi sampel Anda adalah non-acak, memberikan pemisahan 80/20. Mari kita bayangkan 2 kelompok perlakuan dengan ukuran yang sama. Pengacakan (setidaknya dengan ukuran sampel yang layak) akan cenderung memberikan hampir 80/20 split di setiap kelompok, sehingga efek pengobatan adalah karena pengobatan, daripada alokasi yang tidak sama dari kelompok heterogen untuk perawatan.

* Mengarah ke baseline yang berbeda, katakanlah

Masalahnya muncul ketika Anda ingin memperluas kesimpulan ke beberapa populasi target selain dari apa sampel Anda mewakili (penyeleksi diri); ini memerlukan asumsi / argumen yang Anda mungkin tidak memiliki bukti (seperti mengasumsikan bahwa perbedaan perlakuan akan konsisten untuk semua himpunan bagian dari populasi).

Untuk situasi yang sama, bayangkan menguji obat hipertensi hanya pada pria, dibandingkan dengan pengobatan standar dan plasebo. Asumsikan pria secara acak diacak ke dalam kelompok perlakuan. Efek pengobatan akan nyata dalam arti bahwa itu benar-benar menggambarkan efek pada pria. Kesulitan akan datang ketika mencoba memperluas kesimpulan itu kepada wanita .

Jadi jika mereka dilakukan dengan benar dan terpisah secara acak dari rekrutmen, efek signifikan yang diamati akan seperti apa kelihatannya, tetapi itu akan berlaku untuk apa yang Anda sampel sebenarnya, tidak harus seperti apa target yang Anda inginkan - melewati celah antara keduanya membutuhkan argumen yang cermat; argumen seperti itu sering tidak ada.

Ketika saya masih mahasiswa, sangat umum untuk eksperimen psikologi dilakukan pada mahasiswa psikologi, yang diharapkan untuk menjadi sukarelawan selama beberapa jam percobaan semacam itu (ini mungkin masih terjadi tetapi saya tidak memiliki kontak teratur dengan psikolog). yang melakukan percobaan lagi). Dengan pengacakan untuk pengobatan, kesimpulannya mungkin valid (tergantung pada apa yang telah dilakukan) tetapi akan berlaku untuk populasi lokal sarjana psikologi pilihan sendiri (dalam hal itu mereka umumnya memilih eksperimen mana yang akan didaftar), yang sangat jauh dari sampel acak dari populasi yang lebih luas.

Karena diketahui bahwa pengacakan menyelesaikan masalah pemilihan sendiri, saya bertanya-tanya apakah pengacakan sampel non-acak benar-benar mengubah apa pun.

Singkatnya, tidak. Pikirkan seperti ini: Anda memiliki guci dengan 100 bola hitam dan 100 bola putih. Anda mencicipi 90 bola hitam dan 10 bola putih darinya. Pengambilan sampel secara acak dari subsampel ini tidak akan memungkinkan Anda menarik kesimpulan tidak bias pada guci itu sendiri.

Dan juga, apa yang harus kita lakukan dari semua eksperimen psikologis ini berdasarkan sampel yang dipilih sendiri?

Orang-orang setuju bahwa pengambilan sampel non-acak adalah masalah. Tetapi seberapa banyak masalah juga merupakan pertanyaan tentang "teori" mekanisme Anda yang Anda minati. Jika hipotesis Anda berkaitan dengan mekanisme yang pada dasarnya harus sama untuk semua manusia (yaitu mengalami sensasi beku ketika dicelupkan ke dalam es). air), maka pemilihan non-acak tidak masalah banyak. Sayangnya, itu sering bukan hal yang kami minati.

Ada teknik yang dirancang untuk menangani masalah yang Anda sebut dikenal sebagai Bootstrapping. Bootstrapping adalah pendekatan di mana Anda menghasilkan sampel sintetis baru dengan menggambar dari kumpulan sampel aktual Anda dengan penggantian. Anda kemudian melakukan statistik pada masing-masing kumpulan sampel sintetis, dan membandingkan statistik antara set.

Ini memiliki keuntungan kuat untuk memungkinkan Anda menggunakan banyak alat tambahan dalam statistik Anda karena sampel sintetis ini berasal dari distribusi yang dikenal. Anda kemudian dapat menentukan seberapa bagus penduga Anda dalam menangani kasus-kasus sintetis ini. Jika Anda menemukan bahwa penaksir untuk semua sampel sintetis Anda bertemu dengan baik ke hasil yang sama, asumsi bootstrap memungkinkan Anda untuk menyimpulkan bahwa penaksir Anda, ketika diterapkan pada sampel penuh, memberikan perkiraan yang baik untuk populasi yang tidak dikenal. Di lain pihak, jika Anda menemukan estimator Anda menghasilkan hasil yang sangat berbeda dari set sampel sintetis ke set sampel sintetis, Anda harus menyimpulkan bahwa estimator Anda, ketika diterapkan pada sampel lengkap, mungkin tidak memberikan perkiraan yang sangat baik untuk populasi yang tidak dikenal.

Pendekatan bootstrap ini dapat digunakan untuk memvalidasi apakah pengacakan sampel non-acak Anda cukup. Itu tidak bisa membuktikannya, tentu saja, tetapi telah digunakan sebagai alat untuk meningkatkan kredibilitas dengan memeriksa ulang asumsi Anda bahwa pengambilan sampel acak Anda cukup acak.