Dalam penelitian ilmiah sungguhan, sangat jarang memiliki data yang berasal dari true random sampling. Data hampir selalu merupakan sampel kenyamanan. Ini terutama memengaruhi populasi yang dapat Anda generalisasikan. Yang mengatakan, bahkan jika mereka adalah sampel kenyamanan, mereka memang datang dari suatu tempat, Anda hanya perlu jelas tentang di mana dan batasan-batasan yang menyiratkan. Jika Anda benar-benar percaya bahwa data Anda tidak mewakili apa pun, maka studi Anda tidak akan bermanfaat pada level apa pun, tetapi itu mungkin tidak benar 1 . Dengan demikian, sering kali masuk akal untuk menganggap sampel Anda diambil dari suatu tempat dan menggunakan tes standar ini, setidaknya dalam pengertian lindung nilai atau kualifikasi.
Namun, ada filosofi pengujian yang berbeda, yang berpendapat bahwa kita harus menjauh dari asumsi-asumsi itu dan tes yang bergantung padanya. Tukey adalah pendukung ini. Sebaliknya, sebagian besar penelitian eksperimental dianggap (secara internal) valid karena unit studi (misalnya, pasien) secara acak ditugaskan ke lengan. Dengan ini, Anda dapat menggunakan tes permutasi , yang sebagian besar hanya menganggap pengacakan dilakukan dengan benar. Pertimbangan yang terlalu mengkhawatirkan tentang hal ini adalah bahwa tes permutasi biasanya akan menunjukkan hal yang sama dengan tes klasik yang sesuai, dan lebih banyak pekerjaan yang harus dilakukan. Jadi sekali lagi, tes standar dapat diterima.
1. Untuk lebih lanjut di bawah ini, mungkin membantu untuk membaca jawaban saya di sini: Mengidentifikasi populasi dan sampel dalam suatu penelitian .