ANOVA: menguji asumsi normalitas untuk banyak kelompok dengan beberapa sampel per kelompok

Asumsikan situasi berikut:

kami memiliki sejumlah besar (misalnya 20) dengan ukuran kelompok kecil (misalnya n = 3). Saya perhatikan bahwa jika saya menghasilkan nilai dari distribusi seragam, residu akan terlihat normal meskipun distribusi kesalahan seragam. Kode R berikut menunjukkan perilaku ini:

n.group = 200
n.per.group = 3

x <- runif(n.group * n.per.group)
gr <- as.factor(rep(1:n.group, each = n.per.group))
means <- tapply(x, gr, mean)
x.res <- x - means[gr]
hist(x.res)

Jika saya melihat sisa sampel dalam kelompok tiga, alasan perilaku jelas:

$r_1 = x_1 - \text{mean}(x1, x2, x3) = x1 - \frac{x_1+x_2+x_3}{3}=\frac{2}{3}x_1 - x_2 - x_3.$

masukkan deskripsi gambar di sini

Karena adalah jumlah variabel acak dengan standar deviasi yang tidak berbeda, distribusinya sedikit lebih dekat dengan distribusi normal daripada ketentuan individual. $r_1$

Sekarang anggap saya memiliki situasi yang sama dengan data nyata, bukan data simulasi. Saya ingin menilai apakah asumsi ANOVA mengenai normalitas berlaku. Prosedur yang paling direkomendasikan merekomendasikan inspeksi visual residu (misalnya QQ-Plot) atau tes normalitas pada residu. Seperti contoh saya di atas ini tidak benar-benar optimal untuk ukuran kelompok kecil.

Apakah ada alternatif yang lebih baik ketika saya memiliki banyak kelompok ukuran kecil?

anova normal-distribution small-sample

— Erik
sumber

Untuk beberapa alasan tampaknya ini bukan masalah. Pertama, residu Anda akan tampak seragam: lihat histogram untuk melihat sejumlah besar kelompok. Kedua, normalitas residu tidak begitu penting bagi sebagian besar analisis; yang penting adalah perkiraan normal dari distribusi sampling. Aspek khusus apa dari aplikasi Anda, yang menyebabkan Anda menganggap ada masalah nyata?

— whuber

a) residu saya tidak akan tampak seragam. Saya telah menguji ini untuk sejumlah kelompok (bukan sampel per kelompok) dari 20 hingga 20.000. Saya telah melampirkan contoh pada pertanyaan; itu tampak seperti sesuatu yang seragam dan normal, dengan tren berbeda dari normal. b) Saya tahu ini tentang perkiraan normal dari distribusi sampling. Ini adalah keseluruhan poin dari pertanyaan karena residu akan terlihat normal, tetapi distribusi sampling tidak. Jadi saya tidak bisa menggunakan residu untuk menguji properti dari distribusi sampling.

— Erik

Itu betul. Tetapi apakah Anda benar-benar tertarik pada distribusi kesalahan atau Anda tertarik melakukan ANOVA? (Saya tidak mencoba menyiratkan pertanyaan itu harus diabaikan - ini adalah masalah yang menarik yang Anda ajukan - tetapi saya hanya bertanya-tanya apakah Anda benar-benar membutuhkan jawaban untuk melanjutkan analisis data Anda.)

— whuber

Tetapi Anda dapat menggunakan simulasi yang sama untuk menyelidiki ketahanan ANOVA dalam kasus Anda!

— kjetil b halvorsen

Satu komentar yang sedikit tangensial tetapi relevan: Secara umum, menggunakan uji normalitas (atau asumsi model lain) sebelum melakukan uji hipotesis menyajikan (setidaknya) tiga masalah: 1) Jika Anda melakukannya, Anda perlu memperhitungkan beberapa pengujian; 2) Menolak hipotesis alternatif misalnya, "tidak normal" tidak berarti Anda dapat menyimpulkan normalitas; 3) Tes untuk asumsi model memiliki asumsi model sendiri, jadi di mana Anda berhenti?

— Martha

Bekerja pada jawaban ini, tidak sepenuhnya selesai. Saya memiliki beberapa wawasan tentang ini tetapi perlu waktu untuk menjelaskan. Untuk ini, mari kita pertimbangkan bahwa standar deviasi bias untuk jumlah kecil. Alasan untuk ini adalah bahwa jika kita mengambil dua angka , kita dengan sewenang-wenang menetapkan sampel berarti menjadi , di mana rata-rata populasi, , bisa berada di mana saja pada interval antara atau bisa jadi atau . Ini berarti bahwa pada rata-rata . Dengan demikian, Hanya ketika yang bias ini menjadi kecil $a<b$ $\frac{a+b}2{}$ $\sigma$ $(a,b)$ $\sigma<a$ $\sigma>b$ $\text{SD}<\sigma$ $n>100$ . Untuk rangkaian panjang SD untuk jumlah sampel kecil masing-masing, perhitungan SD menjadi lebih tepat, dan lebih jelas tidak akurat.

Sekarang, alih-alih mengangkat tangan dengan frustrasi, kita dapat menerapkan koreksi angka kecil untuk SD kita dalam kondisi normal. (Ha! Ada solusi untuk kesengsaraan kita.)

$\frac{SD(n)}{\mu(n)}\,=\,\sqrt{\frac{2}{n-1}}\,\,\,\frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)} \, = \, 1 - \frac{1}{4n} - \frac{7}{32n^2} - \frac{19}{128n^3} + O(n^{-4})$ lihat $E[\mu]$

Untuk $n=3$ $\Gamma(\frac{3}{2})=\frac{\sqrt{\pi }}{2}\approx0.8862269255$ $\sigma$

Sekarang jika Anda hadir Anda memiliki beberapa hal lain yang terjadi juga. Seperti yang terjadi, ukuran terbaik dari lokasi distribusi yang seragam bukan berarti. Meskipun rata-rata sampel dan median sampel adalah penaksir yang tidak memihak dari titik tengah, tidak ada yang seefisien kisaran menengah sampel, yaitu, rata-rata aritmatika dari sampel maksimum dan sampel minimum, yang merupakan penaksir tidak bias varians minimum- UMVU estimator titik tengah (dan juga estimasi kemungkinan maksimum).

Sekarang untuk daging masalah ini. Jika Anda menggunakan rata-rata nilai ekstrem, varians ukuran lokasi akan lebih kecil, asalkan data Anda benar-benar terdistribusi seragam. Ini mungkin didistribusikan secara normal karena nilai ekor tunggal mungkin sangat normal. Namun, dengan hanya 3 sampel, standar deviasi perlu diperbaiki.

— Carl
sumber