Literatur membedakan antara dua jenis tes permutasi: (1) tes pengacakan adalah tes permutasi di mana pertukaran dapat dipenuhi dengan penugasan acak unit eksperimental dengan kondisi; (2) tes permutasi adalah tes yang sama persis tetapi diterapkan pada situasi di mana asumsi lain (yaitu, selain penugasan acak) diperlukan untuk membenarkan pertukaran.
Beberapa referensi mengenai konvensi penamaan (yaitu, pengacakan vs permutasi): Kempthorne & Doerfler, Biometrika, 1969; Edgington & Onghena, Tes Pengacakan, edisi ke-4, 2007
Untuk asumsi, uji pengacakan (yaitu, uji pengacakan Fisher untuk data eksperimental) hanya memerlukan apa yang disebut Donald Rubin sebagai asumsi nilai perawatan unit yang stabil (SUTVA). Lihat komentar Rubin 1980 di kertas Basu di JASA. SUTVA juga merupakan salah satu asumsi mendasar (bersama dengan ketidaktahuan yang kuat) untuk inferensi kausal di bawah model hasil potensial Neyman-Rubin (lih. Makalah JASA 1986 Paul Holland). Pada dasarnya, SUTVA mengatakan bahwa tidak ada gangguan antara unit dan bahwa kondisi perawatannya sama untuk semua penerima. Lebih formal, SUTVA mengasumsikan independensi antara hasil potensial dan mekanisme penugasan.
Pertimbangkan masalah dua sampel dengan peserta yang secara acak ditugaskan ke kelompok kontrol atau kelompok perlakuan. SUTVA akan dilanggar jika, misalnya, dua peserta studi berkenalan dan status penugasan salah satu dari mereka memberikan pengaruh pada hasil yang lain. Inilah yang dimaksud dengan tidak ada gangguan antar unit.
Diskusi di atas berlaku untuk tes pengacakan di mana peserta secara acak ditugaskan ke kelompok. Dalam konteks tes permutasi, SUTVA juga diperlukan, tetapi mungkin tidak didasarkan pada pengacakan karena tidak ada.
Dengan tidak adanya penugasan acak, validitas tes permutasi dapat bergantung pada asumsi distribusi seperti bentuk identik distribusi atau distribusi simetris (tergantung pada tes) untuk memenuhi kemampuan tukar (lihat Box dan Anderson, JRSSB, 1955).
Dalam sebuah makalah yang menarik, Hayes, Psych Methods, 1996, menunjukkan melalui simulasi bagaimana tingkat kesalahan Tipe I dapat meningkat jika tes permutasi digunakan dengan data non-acak.