Dapatkah saya melakukan tes jika saya memiliki sedikit atau tidak ada perbedaan dalam satu kelompok?

Saya memiliki 4 grup yang saya bandingkan dengan kriteria. Dalam salah satu kelompok saya, semua peserta menjawab hal yang sama pada setiap item, yaitu tidak ada perbedaan.

Bagaimana saya menghadapinya di ANOVA saya?

Juga, apa yang saya dapatkan dari itu dalam pengujian saya menjalankan membandingkannya dengan kriteria karena saya tidak akan mendapatkan istilah kesalahan? Jika saya menyertakan satu peserta yang saya tidak yakin saya termasuk dalam siswa saya, varians tidak sepenuhnya seragam dengan 1 pengamatan berbeda dari 37 tetapi ketika saya menjalankannya, itu tidak signifikan karena varians terlalu kecil.

Saya mengerti bahwa tidak ada yang bisa saya lakukan dengan perhitungan. Saya bertanya bagaimana seseorang menanganinya secara konseptual.

Jika Anda berasumsi bahwa variansnya sama untuk setiap grup, Anda bisa mendapatkan estimasi varians yang dikumpulkan dan bekerja dengannya dalam menyusun uji t untuk perbedaan berpasangan. Tapi itu tidak akan menjadi asumsi yang baik kecuali semua varians kecil dan satu dengan semua nilai yang identik hanya kebetulan. Jika Anda tidak dapat melakukan itu maka Anda tidak memiliki cara untuk memperkirakan varians untuk satu kelompok dan tidak dapat melakukan analisis varians atau uji t yang melibatkan kelompok itu sebagai salah satu pasangan yang dibandingkan.

Berikut adalah beberapa pengamatan untuk menambah jawaban yang ada. Saya pikir penting untuk memikirkan secara konseptual mengapa Anda mendapatkan grup dengan nol variasi.

Efek lantai dan langit-langit

Dalam pengalaman saya dalam psikologi, contoh ini muncul paling sering ketika ada lantai atau langit-langit pada skala, dan Anda memiliki beberapa kelompok yang jatuh di tengah skala dan yang lain jatuh pada ekstrim. Misalnya, Jika variabel dependen Anda adalah proporsi item yang benar dari lima pertanyaan, maka Anda mungkin menemukan bahwa grup "pintar" Anda mendapatkan 100% benar atau bahwa "grup klinis" Anda mendapatkan 0% benar.

Pada kasus ini:

• Anda mungkin ingin kembali ke tes non-parametrik ordinal jika Anda tidak memiliki varian di salah satu kelompok Anda.
• Meskipun mungkin tidak membantu Anda setelah fakta, Anda mungkin juga ingin berpikir secara konseptual tentang apakah ukuran yang berbeda yang tidak memiliki efek lantai atau langit-langit akan lebih baik untuk digunakan. Dalam beberapa kasus itu tidak masalah. Sebagai contoh, titik analisis mungkin untuk menunjukkan bahwa satu kelompok dapat melakukan tugas dan yang lainnya tidak. Dalam kasus lain, Anda mungkin ingin memodelkan perbedaan individu di semua kelompok, dalam hal ini Anda mungkin perlu skala yang tidak menderita efek lantai atau langit-langit.

Ukuran grup sangat kecil

Kasus lain di mana Anda tidak bisa mendapatkan varians grup adalah di mana Anda memiliki grup dengan ukuran sampel yang sangat kecil (misalnya, ), biasanya dalam kombinasi dengan variabel dependen yang cukup berbeda.$n\lt5$

Dalam hal ini, Anda mungkin lebih cenderung untuk menempatkan kurangnya varians ke kebetulan, dan melanjutkan dengan uji-t standar.

Beberapa tahun yang lalu, saya akan sepenuhnya berlangganan jawaban @Michael Chernick.

Namun, saya baru-baru ini menyadari bahwa beberapa implementasi uji-t sangat kuat untuk ketidaksamaan varian. Secara khusus, dalam R fungsi t.testmemiliki parameter default var.equal=FALSE, yang berarti bahwa ia tidak hanya mengandalkan estimasi varians yang dikumpulkan. Sebaliknya, ia menggunakan tingkat kebebasan perkiraan Welch-Satterthwaite , yang mengkompensasi varian yang tidak setara.

Mari kita lihat sebuah contoh.

set.seed(123)
x <- rnorm(100)
y <- rnorm(100, sd=0.00001)
# x and y have 0 mean, but very different variance.
t.test(x,y)
Welch Two Sample t-test

data:  x and y 
t = 0.9904, df = 99, p-value = 0.3244
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.09071549  0.27152946 
sample estimates:
    mean of x     mean of y 
 9.040591e-02 -1.075468e-06

Anda dapat melihat bahwa R mengklaim untuk melakukan uji t Welch dan bukan uji t Student . Di sini derajat kebebasan diklaim 99, meskipun setiap sampel memiliki ukuran 100, jadi di sini fungsi dasarnya menguji sampel pertama terhadap nilai tetap 0.

Anda dapat memverifikasi diri Anda bahwa implementasi ini memberikan nilai-p yang benar ( yaitu seragam) untuk dua sampel dengan varian yang sangat berbeda.

Sekarang, ini untuk uji-t dua sampel. Pengalaman saya sendiri dengan ANOVA adalah bahwa ia jauh lebih sensitif terhadap ketidaksetaraan varian. Dalam hal ini, saya sepenuhnya setuju dengan @Michael Chernick.

Dalam keadaan tertentu dimungkinkan untuk menghitung batas atas pada apa varians untuk populasi dapat, dan kemudian menggunakan varians itu dalam sesuatu seperti uji-t dengan varians yang tidak sama.

Misalnya, jika Anda bertanya kepada 10 siswa yang dipilih secara acak di sebuah sekolah yang terdiri dari 100 siswa apa hari favorit mereka pada bulan Maret dan mereka semua menjawab tanggal 15, Anda tahu bahwa varian terbesar yang mungkin Anda miliki untuk populasi siswa adalah varians untuk 10 nilai dari 15, 45 nilai 1, dan 45 nilai 31, yaitu 204.6364.

Varians yang lebih besar harus membuat mendeteksi perbedaan lebih sulit, sehingga uji-t menggunakan batas atas varians ini akan menjadi konservatif dalam mendeteksi perbedaan. Itu berarti Anda akan yakin akan perbedaan signifikan yang dihasilkan dari uji-t menggunakan batas atas varians, tetapi jika Anda tidak menemukan perbedaan yang signifikan, Anda tidak akan tahu banyak, karena perbedaan yang signifikan masih akan konsisten dengan beberapa varian kecil yang mungkin.

Tentu saja mungkin tidak ada banyak situasi di mana Anda benar-benar dapat mengetahui hal ini, tetapi mungkin saja.