Mengapa semua tes normalitas menolak hipotesis nol?

12

Tes Kolgomorov-Smirnov, uji Shapiro, dll .... semuanya menolak hipotesis bahwa distribusi normal. Namun ketika saya memplot kuantil dan dan histogram normal, datanya jelas normal. Mungkin karena kekuatan tesnya tinggi?

Ukuran sampel adalah sekitar 650. Jadi bukankah paling tidak salah satu dari tes ini gagal untuk menolak hipotesis nol?

Hasil:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

normal-distribution

— Robbie
sumber

1

Selamat datang di situs ini. Kekuasaan memang mungkin menjadi masalah. Bisakah Anda memposting hasil Anda, sehingga kami bisa lebih spesifik?

— Tugas

1

Hampir tidak mungkin untuk menilai normalitas dengan banyak akurasi dengan melihat histogram atau kuantil. Tiga tes pertama ini mengukur penyimpangan dalam plot probabilitas (plot qq Normal), jadi bagaimana linearkah plot itu?

— whuber

13

Pengujian normalitas adalah buang-buang waktu dan contoh Anda menggambarkan mengapa. Dengan sampel kecil, uji normalitas memiliki daya yang rendah, sehingga keputusan tentang model statistik apa yang digunakan perlu didasarkan pada pengetahuan apriori . Dalam kasus-kasus ini, kegagalan untuk menolak nol tidak membuktikan bahwa nol itu bahkan hampir benar pada tingkat populasi.

Ketika Anda memiliki sampel besar, tes normal menjadi sangat kuat, tetapi mereka tidak memberi tahu Anda apa pun yang belum Anda ketahui. Tidak ada kuantitas nyata persis terdistribusi normal. Distribusi normal hanyalah abstraksi matematis yang merupakan pendekatan yang cukup baik dalam banyak kasus. Bukti paling sederhana dari ini adalah bahwa tidak ada kuantitas nyata (setidaknya tidak ada yang dapat saya pikirkan) yang dapat mengambil bilangan real apa pun sebagai nilainya. Sebagai contoh, hanya ada begitu banyak molekul di alam semesta. Hanya ada begitu banyak dolar dalam jumlah uang beredar. Kecepatan cahaya terbatas. Komputer hanya dapat menyimpan angka dengan ukuran terbatas, jadi meskipun ada sesuatu yang mendukung semua bilangan real, Anda tidak akan dapat mengukurnya.

Intinya adalah bahwa Anda sudah tahu data Anda tidak persis terdistribusi normal tetapi tes normalitas memberitahu Anda apa-apa tentang bagaimana non-normal data yang. Mereka sama sekali tidak memberi petunjuk apakah data Anda kira - kira terdistribusi normal sehingga metode inferensi statistik yang mengasumsikan normalitas akan memberikan jawaban yang benar. Ironisnya, tes umum (misalnya T-test dan ANOVA) yang mengasumsikan normalitas lebih kuat untuk non-normalitas pada ukuran sampel yang besar.

— dsimcha
sumber

Sebagai lanjutan dari jawaban Anda, saya memposting pertanyaan tentang apa yang merupakan indeks non-normalitas yang baik: stats.stackexchange.com/questions/16646 /... Adakah pemikiran?

— Jeromy Anglim

Mengenai semua hal di dunia yang dikuantisasi: tidak bisakah data diskrit didistribusikan secara normal juga?

— xmjx

Satu lagi komentar tentang masalah komputer: harap dicatat bahwa mekanisme yang sering digunakan untuk menyimpan angka desimal di komputer memiliki rincian yang berbeda untuk rentang angka kecil dan angka besar. Jadi perbedaan minimum antara angka yang dapat disimpan oleh komputer lebih kecil untuk angka kecil dan lebih besar untuk angka besar. Untuk komputer, 100000.1 dan 100000.2 mungkin sama, sedangkan 0,1 dan 0,2 tidak sama. (Hanya sebuah contoh - di dunia nyata tidak seburuk itu.)

— xmjx

@xmjx: Data Discrete dapat sekitar terdistribusi normal, yang berarti bahwa itu cukup dekat untuk hampir semua tujuan praktis. Namun, secara teori setiap distribusi diskrit akan gagal dalam beberapa tes normalitas jika ukuran sampel cukup besar. Distribusi normal kontinu dan tidak ada jalan lain.

— dsimcha

@dsimcha Tapi distribusi normal hanyalah fungsi densitas probabilitas yang dapat memprediksi jumlah pengamatan dalam bin tertentu dari variabel diskrit. Jadi, saya akan mengerti jika Anda mengatakan "tidak ada variabel nyata yang terdistribusi normal dan inilah mengapa tes normalitas akan gagal di beberapa titik". Tetapi untuk "data diskrit tidak dapat didistribusikan secara normal karena tidak kontinu" Saya ingin referensi. Saya sangat tertarik dengan hal-hal semacam itu. Tidak ingin memulai pertengkaran di sini.

— xmjx

4

Ini tidak mengejutkan saya --- dengan ukuran sampel yang cukup besar, setiap tes yang baik harus menolak hipotesis nol, kecuali jika distribusi data menghasilkan benar-benar (dan persis) normal.

Dengan pengujian hipotesis, seseorang biasanya tertarik untuk menemukan tes "kuat", yang merupakan tes yang dapat menemukan penyimpangan yang sangat kecil dari hipotesis nol, dengan data sesedikit mungkin.

Coba jalankan tes dengan ukuran sampel 20, 50, 100, 200, dan lihat pada ukuran apa tes mulai ditolak. Sangat mudah untuk melihat apakah histogram simetris dan umumnya berbentuk lonceng, tetapi ekor dari distribusi lebih sulit untuk dinilai dengan mata. Mungkin ada pencilan dalam data yang menyebabkan tes ditolak? Jika ada, lihat apa yang terjadi ketika Anda memangkasnya.

— DavidR
sumber

Terima kasih atas jawabannya. Tujuannya adalah menguji apakah residu itu normal. Saya kira melihat plot normal-kuantil dan melihat apakah itu terletak pada y = x adalah taruhan terbaik?

— Robbie

@Robbie Jika Anda hanya tertarik untuk mencari tahu apakah residu Anda normal, inspeksi visual harus dilakukan. Pengujian statistik dari distribusi tidak benar-benar diperlukan untuk itu - seperti yang telah dicatat, itu akan mengambil penyimpangan dari normalitas, bahkan yang tidak terlalu penting.

— Fomite

@EpiGrad saya tidak setuju. Tes normalitas memiliki daya yang sangat rendah. Lihat jawaban saya di atas. Edit di sisi lain, regresi cukup kuat untuk non-normalitas, jadi saya setuju bahwa jika terlihat normal, Anda mungkin baik-baik saja untuk tujuan itu.

— David J. Harris

@ David J. Harris: "Daya sangat rendah"? Untuk ukuran sampel 650? Ini bertentangan dengan semua yang saya baca atau alami. Apakah Anda memiliki kutipan?

— whuber

@ DavidJ.Harris Saya pikir pada intinya, daya rendah atau signifikansi palsu karena sampel besar, seluruh latihan tidak perlu untuk pemeriksaan rutin asumsi normal.

— Fomite

3

Kemungkinan penyebabnya adalah bahwa data Anda sedikit tidak normal dan ukuran sampel Anda cukup besar untuk mengungkapkan hal ini.

Jika distribusi benar-benar normal maka biasanya harus lulus tes ini, seperti dalam contoh R berikut di mana semua kecuali satu tes dilewatkan.

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

Anda mungkin ingin melakukan qqplot dan jika ini cukup dekat dengan garis lurus maka Anda mungkin memutuskan untuk memperlakukannya sebagai cukup dekat dengan normalitas untuk keperluan Anda. Itu lebih tergantung pada apa tujuan itu.

— Henry
sumber

Tujuannya adalah untuk menguji untuk melihat apakah residu normal dalam regresi linier.

— Robbie

1

@Robbie. Tampaknya mereka tidak, tetapi mereka mungkin cukup dekat untuk ini tidak terlalu menjadi masalah. Coba qqplot.

— Henry

Hasil pearson chi square sepertinya data tidak terdistribusi secara normal. Hanya mengatakan. Apa yang harus dilakukan dengan hasil seperti itu?

— xmjx

@xmjx: Tidak banyak - Jika Anda menerapkan kriteria 0,05, maka Anda tidak boleh terkejut jika Anda mendapatkan false positive 5% dari waktu.

— Henry

@Henry, saya tahu. Apa yang saya maksud: memilih tes normalitas apa pun dimuka memiliki beberapa kemungkinan memilih satu yang akan mengatakan "signifikan". Jadi apakah lebih baik menjalankan baterai dan kemudian ... apa? Rata-rata Pergi dengan suara terbanyak?

— xmjx

2

Biarkan saya tidak setuju dengan jawaban dari dsimcha: "Pengujian normalitas adalah buang-buang waktu dan contoh Anda menggambarkan mengapa.". Pengujian normalitas tidak pernah membuang waktu, Anda selalu dapat belajar dari data Anda. Selain itu, ada beberapa kondisi yang harus Anda uji sebelum melakukan beberapa analisis (yaitu ANOVA, regresi, dll.). Ukuran sampel relatif besar lebih baik untuk diuji dengan plot (QQplot, histogram). Dalam kasus seperti itu, visualisasi memberikan lebih banyak informasi tentang perilaku multimodal dan sebagainya.

ANOVA dan regresi kuat untuk non-normal ketika menangani ukuran sampel yang besar tetapi jenis data utama yang menyebabkan masalah adalah sampel data multimodal.

Dengan ukuran sampel kecil, tes Kolgomorov-Smirnov adalah pilihan terbaik terutama karena sensitivitasnya.

— Jose Zubcoff
sumber

1

Saya akan sedikit tidak setuju dengan jawaban lain yang diposting sejauh ini: tes ini untuk normalitas memiliki daya yang sangat kecil, bahkan dengan ukuran sampel yang relatif besar, setidaknya untuk beberapa jenis penyimpangan.

Ini contoh singkatnya. Saya menghasilkan campuran dua normals yang artinya dipisahkan oleh seluruh sd.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

Menimbang bahwa itu akan "mendeteksi" penyimpangan dari normalitas 5% dari waktu bahkan jika itu benar-benar normal, itu tidak terlalu mengesankan.

Berikut contoh lain: Saya menambahkan noise yang seragam pada rentang ukuran dua standar deviasi. Yang ini terlihat sangat tidak normal.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

Sekali lagi, daya yang sangat rendah untuk keberangkatan yang cukup besar dari normalitas.

Anda yakin membaca qqplot dengan benar? Bisakah Anda mengunggahnya sehingga kami bisa melihatnya?

Edit di sisi lain, regresi cukup kuat untuk non-normalitas, jadi saya setuju bahwa inspeksi visual mungkin cukup untuk sebagian besar tujuan.

— David J. Harris
sumber

3

Saya pikir Anda mungkin membingungkan ukuran nyata dari "penyimpangan," seperti yang tertulis dalam rumus, dengan penyimpangan yang sebenarnya antara dua distribusi. Dalam kedua kasus hasilnya sangat dekat dengan Normal. Dalam kasus 1, PDF sulit dibedakan secara visual dari PDF Normal; semua momen anehnya adalah (jelas) ; kurtosis adalah , hanya sedikit kurang dari itu dari normal standar ( ), dll Fakta bahwa tes Shapiro-Wilks memiliki setiap kekuatan untuk mengidentifikasi campuran ini sebagai non-Normal dengan sampel semu dari 625 luar biasa. Kasus kedua serupa.

0

$0$

73 / 25

$73/25$

75 / 25

$75/25$

— whuber