Tes Kolmogorov – Smirnov vs. t-test

Saya mengalami beberapa kesulitan dalam memahami interpretasi dari 2 sampel tes KS, dan bagaimana perbedaannya dari uji t reguler antara 2 kelompok.

Katakanlah saya memiliki pria dan wanita melakukan beberapa tugas dan saya mengumpulkan beberapa skor dari tugas itu. Tujuan utama saya adalah menentukan apakah pria dan wanita memiliki performa yang berbeda dalam tugas itu

Jadi satu hal yang bisa saya lakukan adalah menjalankan tes antara 2 kelompok. Hal lain yang bisa saya lakukan adalah menghitung ECDF untuk pria dan wanita, plot mereka, dan melakukan tes KS 2 sampel. Saya akan mendapatkan sesuatu seperti ini:

Tes KS

Hipotesis nol untuk uji KS adalah bahwa 2 set distribusi skor kontinu berasal dari populasi yang sama

Saat melakukan tes KS, saya mendapatkan: D = 0,18888, p-value = 0,04742

Pertama, saya ingin memeriksa apakah interpretasi saya terhadap hasilnya benar. Di sini, saya akan menolak hipotesis nol dan mengatakan bahwa distribusi skor pria dan wanita berasal dari populasi yang berbeda. Atau dengan kata lain, distribusi skor pria dan wanita berbeda satu sama lain.

Lebih khusus, laki-laki cenderung memiliki probabilitas lebih tinggi untuk mencapai skor yang lebih rendah pada tugas ini, dan itu adalah perbedaan antara 2 jenis kelamin seperti yang saya tafsirkan dari plot.

Uji-T

Sekarang pada tes akan menguji perbedaan antara rata-rata pria dan wanita pada variabel skor.

Mari kita bayangkan kasus di mana kinerja pria lebih buruk daripada wanita dalam tugas ini. Dalam hal itu, distribusi skor laki-laki akan berpusat di sekitar rata-rata rendah, sedangkan distribusi skor perempuan akan berpusat di sekitar rata-rata tinggi. Skenario ini akan sejalan dengan plot di atas, karena laki-laki akan memiliki kemungkinan lebih tinggi untuk mencapai skor yang lebih rendah

Jika uji t ternyata signifikan, saya akan menyimpulkan bahwa skor perempuan, rata-rata, secara signifikan lebih tinggi daripada laki-laki. Atau dalam hal populasi, skor wanita diambil dari populasi yang rata-rata lebih tinggi daripada populasi pria, yang terdengar sangat mirip dengan kesimpulan KS bahwa mereka berasal dari populasi yang berbeda.

Apa bedanya?

Jadi kesimpulan yang akan saya ambil dalam kasus KS dan uji t adalah sama. Laki-laki berkinerja buruk dibandingkan dengan perempuan. Jadi apa manfaat menggunakan satu tes di atas yang lain? Apakah ada pengetahuan baru yang bisa Anda peroleh dari menggunakan tes KS?

Cara saya melihatnya, laki-laki dengan distribusi berpusat di sekitar rata-rata rendah, dan perempuan berpusat di sekitar rata-rata tinggi adalah apa yang menyebabkan uji t signifikan. Tetapi dengan fakta yang sama itu , laki-laki akan memiliki probabilitas yang lebih tinggi untuk mencetak nilai yang lebih rendah, yang akan menyebabkan plot terlihat seperti di atas dan memberikan uji KS yang signifikan. Jadi hasil dari kedua tes memiliki penyebab dasar yang sama, tetapi mungkin orang dapat berargumen bahwa uji KS memperhitungkan lebih dari sekedar sarana distribusi dan juga mempertimbangkan bentuk distribusi, tetapi apakah mungkin untuk menguraikan penyebabnya dari uji KS signifikan dari hanya hasil tes?

Jadi berapakah nilai menjalankan tes KS saat ujian? Dan mari kita asumsikan bahwa saya dapat memenuhi asumsi uji t untuk pertanyaan ini

— Simon
sumber

Uji-t klasik pada umumnya kalah dengan analisis data Bayesian, lihat John Kruschke's "Bayesian Estimation menggantikan uji t" indiana.edu/~kruschke/BEST/BEST.pdf

— Vladislavs Dovgalecs

Saya tidak yakin bagaimana tes KS berhubungan dengan metode Bayesian ...?

— Simon

Hanya berhenti menggunakan KS dan uji-t

— Vladislavs Dovgalecs

@xeon Jika Anda akan membuat pernyataan sekuat itu, Anda sebaiknya mendukungnya. Saran Anda tidak akan berguna untuk mengambil jenis perbedaan dalam contoh dalam jawaban saya. Mengapa orang harus meninggalkan pendekatan yang jelas-jelas berfungsi untuk mengidentifikasi perbedaan distribusi ini demi yang tidak?

— Glen_b -Reinstate Monica

@ Glen_b Itu sebabnya a menulis komentar, bukan jawaban. Mungkin OP tidak membaca koran yang bagus; Saya hanya ingin menyarankannya. Tetapi saya setuju bahwa saya membuat pernyataan yang terlalu kuat dan berperilaku sedikit sombong. Saya minta maaf karena agak kasar. Tidak akan terjadi lagi

— Vladislavs Dovgalecs

Sebagai contoh mengapa Anda ingin menggunakan dua sampel tes Kolmogorov-Smirnov:

Bayangkan rata-rata populasi mirip tetapi variansinya sangat berbeda. Tes Kolmogorov-Smirnov dapat mengambil perbedaan ini tetapi uji-t tidak bisa.

Atau bayangkan distribusi memiliki cara dan SD yang serupa tetapi jantan memiliki distribusi bimodal (merah) sedangkan betina (biru) tidak:

Apakah pria dan wanita berkinerja berbeda? Ya - laki-laki cenderung mencetak skor antara 7,5-8 atau 12,5-13, sementara perempuan cenderung lebih sering mencetak skor lebih ke tengah (mendekati 10 atau lebih) tetapi jauh lebih sedikit berkerumun tentang nilai itu daripada dua nilai yang laki-laki cenderung mendapat skor dekat.

Sehingga Kolmogorov-Smirnov dapat menemukan lebih banyak jenis perbedaan dalam distribusi daripada yang dapat dilakukan dengan uji-t.

— Glen_b -Reinstate Monica
sumber

Ah, masuk akal. Bisakah saya memperluas logika itu dan mengatakan bahwa jika uji-t signifikan, maka tes KS juga kemungkinan besar akan signifikan, namun bisa jadi karena perbedaan rata-rata dan / atau perbedaan lain dalam distribusi, sehingga membuat interpretasi dari KS tes sulit? Jadi apakah tes KS hanya benar-benar berguna jika tidak ada perbedaan rata-rata antara 2 kelompok?

— Simon

Uji-t lebih sensitif terhadap perbedaan rata-rata (terutama jika distribusi populasi mendekati normal dengan standar deviasi yang sama). Tes KS bisa lebih sulit untuk ditafsirkan, tetapi saya tidak akan setuju dengan kalimat terakhir Anda. Anda bisa memiliki perbedaan kecil dalam hal yang disertai dengan perbedaan lain; uji-t hanya memiliki perbedaan cara untuk menginformasikannya, sedangkan uji KS dapat diinformasikan oleh jenis perbedaan lainnya. Bayangkan contoh di atas, tetapi di mana ada sedikit perubahan berarti juga; uji-t mungkin tidak mengambil perbedaan semudah tes KS.

— Glen_b -Reinstate Monica

@ Glen_b: apakah benar untuk mengatakan bahwa KS menguji apakah distribusinya sama sedangkan tes-t menguji apakah distro memiliki rata-rata yang sama?

@ fcop Ya dan tidak; dengan asumsi, dan di bawah nol, t-test varian sama biasa sebenarnya menguji identitas distribusi juga - itu adalah generalitas dari alternatif (dikombinasikan dengan asumsi) yang benar-benar membuat mereka berbeda. Tentu saja kita dapat (dan umumnya melakukan) menggunakan tes ketika asumsi mereka tidak cukup berlaku dan kemudian kita lebih melihat perilaku mereka di bawah nol dan alternatif; uji-t akan cenderung sensitif terhadap perubahan rata-rata di bawah alternatif, sementara KS agak sensitif terhadap kelas alternatif yang sangat luas.

— Glen_b -Reinstate Monica