Mengapa kurtosis positif tinggi bermasalah untuk tes hipotesis?

Saya pernah mendengar (maaf tidak dapat memberikan tautan ke teks, sesuatu yang telah saya ceritakan) bahwa kurtosis positif residu yang tinggi dapat menjadi masalah untuk pengujian hipotesis dan interval kepercayaan yang akurat (dan karena itu masalah dengan inferensi statistik). Apakah ini benar dan, jika ya, mengapa? Akankah kurtosis positif yang tinggi dari residu tidak menunjukkan bahwa mayoritas residu berada di dekat rata-rata residual dari 0 dan oleh karena itu residual yang kurang besar ada? (Jika Anda memiliki jawaban, cobalah untuk memberikan jawaban dengan tidak banyak matematika mendalam karena saya tidak cenderung secara matematis).

— DDK
sumber

Saya menduga Anda berfokus pada model dengan kondisi ideal istilah kesalahan normal (Gaussian). (Dalam banyak konteks lain, kurtosis residual yang tinggi dapat diharapkan.) Kurtosis tinggi kemungkinan besar menyiratkan distribusi yang lebih berekor daripada yang normal, sehingga beberapa residu yang sangat tinggi (+ atau -). Sekalipun ada banyak yang mendekati nol, itu hanya kabar baik, dan itu adalah kabar buruk yang mungkin perlu diperhatikan. Tetapi pada gilirannya itu bisa berarti banyak hal. Plot residual versus plot biasanya lebih informatif.

— Nick Cox

Memang, saya fokus pada model dengan asumsi normal.

— DDK

Jawaban:

mendengar [...] bahwa kurtosis positif yang tinggi dari residu dapat menjadi masalah untuk tes hipotesis yang akurat dan interval kepercayaan (dan karena itu masalah dengan inferensi statistik). Apakah ini benar dan, jika ya, mengapa?

Untuk beberapa jenis tes hipotesis, itu benar.

Akankah kurtosis positif yang tinggi dari residu tidak menunjukkan bahwa mayoritas residu berada di dekat rata-rata residual dari 0 dan oleh karena itu residual yang kurang besar ada?

Tidak.

Sepertinya Anda menggabungkan konsep varians dengan konsep kurtosis. Jika varians lebih kecil, maka kecenderungan untuk residual lebih kecil dan residual besar lebih sedikit akan datang bersama-sama. Bayangkan kita memegang standar deviasi konstan sementara kita mengubah kurtosis (jadi kita jelas berbicara tentang perubahan ke kurtosis daripada varians).

Bandingkan varian yang berbeda (tetapi kurtosis yang sama):

dengan kurtosis berbeda tetapi varians yang sama:

(gambar dari pos ini )

Kurtosis tinggi dalam banyak kasus dikaitkan dengan penyimpangan yang lebih kecil dari rata-rata - residual yang lebih kecil daripada yang Anda temukan dengan distribusi normal .. tetapi untuk menjaga standar deviasi pada nilai yang sama, kita juga harus memiliki lebih banyak residu besar (karena memiliki residu lebih kecil akan membuat jarak tipikal dari rata-rata lebih kecil). Untuk mendapatkan lebih banyak residu besar dan residu kecil, Anda akan memiliki lebih sedikit residu "tipikal" - yaitu sekitar satu standar deviasi dari mean. $^\ddagger$

$\ddagger$ tergantung pada bagaimana Anda mendefinisikan "kecil"; Anda tidak bisa hanya menambahkan banyak residu besar dan terus varians konstan, Anda perlu sesuatu untuk mengimbangi itu - tapi untuk beberapa diberikan ukuran "kecil" Anda dapat menemukan cara untuk meningkatkan kurtosis tanpa meningkatkan bahwa ukuran tertentu. (Misalnya, kurtosis yang lebih tinggi tidak secara otomatis menyiratkan puncak yang lebih tinggi seperti itu)

Kurtosis yang lebih tinggi cenderung terjadi dengan residu yang lebih besar, bahkan ketika Anda memegang varians konstan.

[Lebih lanjut, dalam beberapa kasus, konsentrasi residu kecil sebenarnya dapat menyebabkan lebih banyak masalah daripada fraksi tambahan residu terbesar - tergantung pada hal-hal yang Anda lihat.]

Bagaimanapun, mari kita lihat sebuah contoh. Pertimbangkan uji-satu sampel dan ukuran sampel 10.

Jika kita menolak hipotesis nol ketika nilai absolut t-statistik lebih besar dari 2.262, maka ketika pengamatan independen, terdistribusi secara identik dari distribusi normal, dan rata-rata yang dihipotesiskan adalah rata-rata populasi sebenarnya, kami akan menolak nol hipotesis 5% dari waktu.

Pertimbangkan distribusi tertentu dengan kurtosis yang jauh lebih tinggi daripada yang normal: 75% populasi kami diambil nilainya dari distribusi normal dan 25% sisanya diambil nilainya dari distribusi normal dengan standar deviasi 50 kali lebih besar.

Jika saya menghitung dengan benar, ini sesuai dengan kurtosis 12 (kelebihan kurtosis 9). Distribusi yang dihasilkan jauh lebih memuncak daripada normal dan memiliki ekor yang berat. Kepadatan dibandingkan dengan kepadatan normal di bawah ini - Anda dapat melihat puncak yang lebih tinggi, tetapi Anda tidak dapat benar-benar melihat ekor yang lebih berat di gambar kiri, jadi saya juga memplot logaritma densitas, yang merentangkan bagian bawah dari gambar dan kompres bagian atas, membuatnya lebih mudah untuk melihat puncak dan ekor.

Tingkat signifikansi aktual untuk distribusi ini jika Anda melakukan uji-t satu sampel "5%" dengan bawah 0,9%. Ini sangat dramatis, dan menarik kurva daya cukup besar. $n=10$

(Anda juga akan melihat efek substantif pada cakupan interval kepercayaan.)

Perhatikan bahwa distribusi yang berbeda dengan kurtosis yang sama dengan itu akan memiliki dampak yang berbeda pada tingkat signifikansi.

Jadi mengapa tingkat penolakan turun? Itu karena ekor yang lebih berat mengarah ke beberapa outlier besar, yang memiliki dampak sedikit lebih besar pada standar deviasi daripada pada rata-rata; ini berdampak pada t-statistik karena ini mengarah pada lebih banyak nilai-t antara -1 dan 1, dalam proses mengurangi proporsi nilai di wilayah kritis.

Jika Anda mengambil sampel yang terlihat cukup konsisten dengan berasal dari distribusi normal yang rata-rata cukup jauh di atas hipotesis berarti bahwa itu signifikan, dan kemudian Anda mengambil pengamatan terjauh di atas rata-rata dan menariknya lebih jauh lagi (yaitu, buat mean lebih besar daripada di bawah ), Anda benar-benar membuat t-statistik lebih kecil . $H_0$

Mari ku tunjukkan. Berikut contoh ukuran 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23

Bayangkan kita ingin mengujinya terhadap (uji-satu sampel). Ternyata mean sampel di sini adalah 2,68 dan standar deviasi sampel adalah 0,9424. Anda mendapatkan t-statistik 2,282 - hanya di wilayah penolakan untuk tes 5% (nilai p 0,0484). $H_0: \mu=2$

Sekarang buat nilai terbesar 50:

      1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50

Jelas kita menarik rata-rata, jadi itu seharusnya menunjukkan perbedaan bahkan lebih daripada sebelumnya, kan? Yah, tidak, tidak. Statistik t turun . Sekarang 1,106, dan nilai-p cukup besar (hampir 30%). Apa yang terjadi? Kami memang menarik rata-rata (ke 7.257), tetapi standar deviasi melonjak lebih dari 15.

Standar deviasi sedikit lebih sensitif terhadap outlier daripada artinya - ketika Anda memasukkan outlier, Anda cenderung mendorong statistik t satu sampel ke arah 1 atau -1.

Jika ada kemungkinan beberapa outlier, banyak hal yang sama terjadi hanya mereka kadang-kadang dapat berada di sisi yang berlawanan (dalam hal ini deviasi standar bahkan lebih meningkat sementara dampak pada rata-rata berkurang dibandingkan dengan satu outlier), sehingga t-statistik cenderung bergerak lebih dekat ke 0.

Hal serupa terjadi dengan sejumlah tes umum lainnya yang mengasumsikan normalitas - kurtosis yang lebih tinggi cenderung dikaitkan dengan ekor yang lebih berat, yang berarti lebih banyak pencilan, yang berarti bahwa standar deviasi meningkat relatif terhadap rata-rata sehingga perbedaan yang ingin Anda ambil cenderung untuk mendapatkan "kebanjiran" oleh dampak outlier pada tes. Artinya, daya rendah.

— Glen_b -Reinstate Monica
sumber

Wow, terima kasih banyak atas jawaban yang sangat jelas dan rumit. Waktu Anda sangat dihargai!

— DDK

Perlu juga dicatat bahwa, sementara distribusi sampel rata-rata sampel besar tidak tergantung pada kurtosis (karenanya, tingkat signifikansi aktual dari uji asumsi-normal untuk cara menyatu ke tingkat nominal, biasanya 0,05, seperti n-> infinity, untuk semua kurtosis terbatas), hal yang sama tidak berlaku untuk tes varian. Distribusi sampel besar dari varians yang diperkirakan tergantung pada kurtosis, sehingga tingkat signifikansi aktual dari tes klasik, asumsi-asumsi untuk varians tidak konvergen ke level nominal sebagai n -> infinity ketika kurtosis berbeda dari nol.

— Peter Westfall

Juga, kurtosis yang lebih tinggi tidak menyiratkan, secara matematis, bahwa ada "penyimpangan lebih kecil dari rata-rata." Satu-satunya hal yang memberitahu Anda pasti adalah bahwa ada lebih banyak di bagian ekor.

— Peter Westfall

Anda tidak bisa mendapatkan penyimpangan lebih besar dan mempertahankan varians konstan kecuali Anda juga membuat penyimpangan lebih kecil; jika Anda tidak mempertahankan varians konstan, lebih banyak penyimpangan Anda menjadi relatif kecil terhadap skala baru. Jadi ya, ketika datang untuk melihat kurtosis, matematika memang memberi tahu Anda bahwa lebih besar membawa lebih kecil.

— Glen_b -Reinstate Monica

@ Peter Mari kita menganggap sebagai standar . Kurtosis adalah , dan bersifat monoton dalam . Jika saya memindahkan probabilitas lebih jauh ke ujung , beberapa probabilitas harus bergerak ke arah rata-rata (atau saya tidak dapat menahan ). Demikian pula jika saya memindahkan probabilitas lebih jauh ke ekor & membiarkan varians meningkat, lebih luas, dan untuk setidaknya beberapa nilai lebih dari sisa distribusi akan cenderung masuk dalam batas-batas tersebut ; setelah Anda menstandarisasi baru ( ke

Z

$Z$

X

$X$

κ = E (Z^{4})

$\kappa=E(Z^4)$

\sqrt{κ - 1} = E (Z^{2})

$\sqrt{\kappa-1}=E(Z^2)$

κ

$\kappa$

Z

$Z$

Var (Z) = 1

$\text{Var}(Z)=1$

X

$X$

μ \pm k σ

$\mu\pm k\sigma$

k

$k$

X

$X$

X^{'}

$X'$

Z^{'}

$Z'$ katakan), Anda memiliki nilai yang lebih kecil dalam arti langsung.

— Glen_b -Reinstate Monica

Kurtosis mengukur outlier. Pencilan adalah masalah untuk kesimpulan standar (misalnya, uji-t, interval-t) yang didasarkan pada distribusi normal. Itulah akhir dari cerita! Dan itu benar-benar cerita yang sangat sederhana.

Alasan mengapa kisah ini tidak dihargai adalah karena mitos kuno bahwa kurtosis mengukur "puncaknya" masih ada.

Berikut adalah penjelasan sederhana yang menunjukkan mengapa kurtosis mengukur outlier dan bukan "peakedness".

Pertimbangkan kumpulan data berikut.

0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1

Kurtosis adalah nilai yang diharapkan dari (nilai-z) ^ 4. Inilah (nilai-z) ^ 4:

6.51, 0.30, 5.33, 0.45, 0.00, 0.30, 6.51, 0.00, 0.45, 0.30, 0.00, 6.51, 0.00, 0.00, 0.30, 0.00, 27.90, 0.00, 0.30, 0.45

Rata-rata adalah 2,78, dan itu adalah perkiraan kurtosis. (Kurangi 3 jika Anda menginginkan kelebihan kurtosis.)

Sekarang, ganti nilai data terakhir dengan 999 sehingga menjadi pencilan:

0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Sekarang, inilah (nilai-z) ^ 4:

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Rata-rata adalah 18,05, dan itu adalah perkiraan kurtosis. (Kurangi 3 jika Anda menginginkan kelebihan kurtosis.)

Jelas, hanya pencilan yang berpengaruh. Tidak ada tentang "puncak" atau data di dekat hal-hal tengah.

Jika Anda melakukan analisis statistik standar dengan kumpulan data kedua, Anda akan mengalami masalah. Kurtosis besar memberi tahu Anda tentang masalahnya.

Berikut ini makalah yang menguraikan:

Westfall, PH (2014). Kurtosis as Peakedness, 1905 - 2014. RIP The American Statistician, 68, 191–195.

— Peter Westfall
sumber

Mengapa tidak menggunakan tes nonparametrik saja? Untuk jenis masalah ini mereka cenderung lebih unggul.

— Carl

Setuju, itu adalah jalan yang mungkin, JIKA Anda suka pengujian, yang dengan cepat menjadi kurang menarik dalam bentuk klasiknya. Tapi itu bukan urusan saya. Saya lebih tertarik pada pemodelan probabilistik secara umum. Satu aplikasi: Mungkin Anda benar-benar tertarik pada mean, misalnya, dalam kasus-kasus di mana variabel dependen adalah dolar yang diperoleh, proses rata-rata lebih menarik daripada proses median. Jadi, apa yang dikatakan data tentang proses ketika data cenderung outlier? Ini masalah yang sulit, tetapi yang penting, dan momen kurtosis relevan dengan jawabannya. Bukan tes nonpar.

— Peter Westfall

Untuk distribusi Cauchy, mean yang dipangkas dapat menjadi ukuran yang lebih baik dari lokasi daripada median, dan rata-rata biasa tidak akan menjadi ukuran lokasi. Apa yang akan digunakan sebagai ukuran lokasi tergantung pada apa distribusi itu. Contoh yang kurtosis tidak akan membantu sebagai indikator adalah distribusi seragam yang nilai ekstrim rata-rata adalah ukuran lokasi yang lebih baik daripada median dan rata-rata.

— Carl

Bukan itu intinya. Jika Anda tertarik pada total, mis., Dolar, maka rata-rata biasa adalah ukuran lokasi yang Anda inginkan.

— Peter Westfall

Jika Anda memiliki variabel terdistribusi Cauchy, Anda dapat membuat kasasi untuk total dolar yang diperoleh, tetapi rata-rata tidak akan menjadi ukuran lokasi yang sangat berguna yang berarti bahwa "nilai yang diharapkan" tidak memiliki ekspektasi yang wajar terkait dengannya.

— Carl

-3

Kurtosis juga menunjukkan ekor asimetris. Dalam tes hipotesis dua sisi, satu ekor akan menjadi ekor panjang, dan yang lainnya akan menjadi ekor pendek. Salah satu ekornya mungkin> alfa, tetapi <beta. Satu ekor akan melewati nilai p, tetapi yang lain tidak.

Pada dasarnya, inferensi statistik mengasumsikan standar normal. Ketika itu bukan standar normal, Anda mungkin bertahan dengan inferensi berdasarkan beberapa mekanisme inferensi yang lebih canggih. Anda mungkin dapat menggunakan inferensi Poisson, tetapi dengan distribusi yang tidak normal, Anda tidak dapat menggunakan inferensi yang didasarkan pada normals.

Skew dan kurtosis adalah ukuran non-normalitas. Kita belajar mengambil cara dan menggunakan distribusi normal sebelum kita tahu bahwa kita harus menguji normalitas. Normal membutuhkan 36 atau lebih titik data dari setiap dimensi. Anda dapat memperkirakan pada 20 titik data, tetapi Anda masih memiliki kecenderungan dan kurtosis. Ketika distribusi mendekati normal, kemiringan dan distribusi menghilang.

Salah satu penjelasan mendefinisikan kurtosis sebagai puncaknya. Yang lain tidak. Ini adalah pertarungan yang tidak menentu saat ini. Kurtosis adalah momen keempat, suatu area. Saya sedang tidak memuncak masalah.

Gagasan lain yang ada di sana adalah bahwa dengan kemiringan, median condong ke mode membentuk segitiga. Nikmati.

— David W. Locke
sumber

Tidak jelas apakah ini menambahkan sesuatu yang bermanfaat dan berbeda dengan jawaban yang sudah sangat baik. Itu memang menambahkan beberapa pernyataan membingungkan misalnya "normal memerlukan 36 atau lebih banyak titik data" (jadi 35 tidak OK? Apa dasar untuk klaim ini? "Condong sebagai puncaknya" Saya tidak berpikir ada yang mengklaim ini. " standar normal ": tidak secara umum. Kurtosis adalah momen keempat, area: tidak; kurtosis sebagaimana didefinisikan di sini adalah rasio tanpa dimensi, berdasarkan momen keempat dan kedua tentang rata-rata.

— Nick Cox

Momen keempat adalah integral, jadi itu adalah area. Bagaimana daerah itu diterjemahkan ke dalam puncak atau lengkungan hilang pada saya.

— David W. Locke

Penjelasan khas mereka tentang kurtosis adalah memuncak, tetapi itu salah dalam pandangan saya. Saya akan mengedit respons asli saya untuk mengubah kecenderungan sebagai puncaknya untuk mengatakan bahwa kurtosis adalah ... Terima kasih.

— David W. Locke

Ekornya tidak simetris. Saya belum pernah melihat apapun tentang kesimpulan statistik yang menganggap ekor asimetris. Risiko Kurtosis terjadi karena ekor akan bergerak karena lebih banyak titik data dikumpulkan. Skew dan kurtosis adalah tentang tidak memiliki cukup data untuk mencapai standar normal.

— David W. Locke

Tidak demikian: ada banyak teori dan aplikasi untuk eksponensial, gamma, Weibull, dan banyak lagi distribusi lainnya yang tidak normal.

— Nick Cox