Ukuran sampel kecil dan tidak seimbang untuk dua kelompok - apa yang harus dilakukan?

Saya memiliki data untuk dua kelompok (yaitu sampel) yang ingin saya bandingkan tetapi ukuran sampel total kecil (n = 29) dan sangat tidak seimbang (n = 22 vs n = 7).

Data ini secara logistik sulit dan mahal untuk dikumpulkan, jadi 'mengumpulkan lebih banyak data' sebagai solusi yang jelas tidak membantu dalam kasus ini.

Sejumlah variabel yang berbeda diukur (tanggal keberangkatan, tanggal kedatangan, durasi migrasi dll.) Sehingga ada beberapa tes, beberapa di antaranya variannya sangat berbeda (sampel yang lebih kecil memiliki varians yang lebih tinggi).

Awalnya seorang rekan menjalankan uji-t pada data ini, dan beberapa secara statistik signifikan dengan P <0,001, yang lain tidak signifikan dengan P = 0,069. Beberapa sampel didistribusikan secara normal, yang lainnya tidak. Beberapa tes melibatkan keberangkatan besar dari varian 'sama'.

Saya punya beberapa pertanyaan:

apakah tes-t sesuai di sini? Jika tidak, mengapa? Apakah ini hanya berlaku untuk tes di mana asumsi normalitas dan kesetaraan varian puas?
apa alternatif yang cocok? Mungkin tes permutasi?
varians yang tidak sama mengembang kesalahan Tipe I, tapi bagaimana? dan apa pengaruh ukuran sampel kecil dan tidak seimbang terhadap kesalahan Tipe I?

t-test sample-size

— DeanP
sumber

Jawaban:

T-tes yang mengasumsikan varian yang sama dari dua populasi tidak valid ketika kedua populasi memiliki varian yang berbeda, & lebih buruk untuk ukuran sampel yang tidak sama. Jika ukuran sampel terkecil adalah yang memiliki varian tertinggi, tes ini akan meningkatkan kesalahan Tipe I). Versi t-test Welch-Satterthwaite, di sisi lain, tidak memiliki varian yang sama. Jika Anda berpikir tentang uji permutasi Fisher-Pitman, itu juga mengasumsikan varians yang sama (jika Anda ingin menyimpulkan cara yang tidak sama dari nilai-p rendah).

Ada beberapa hal lain yang mungkin ingin Anda pikirkan:

(1) Jika variansnya jelas tidak setara, apakah Anda masih begitu tertarik pada perbedaan antara rata-rata?

(2) Mungkinkah perkiraan efek lebih bermanfaat bagi Anda daripada nilai-p?

(3) Apakah Anda ingin mempertimbangkan sifat multivariat data Anda, daripada hanya membuat serangkaian perbandingan univariat?

— Scortchi - Reinstate Monica
sumber

Hai Scortchi, terima kasih atas balasan Anda. Saya telah mempertimbangkan pertanyaan-pertanyaan yang Anda ajukan:

— DeanP

(1) Baik varians dan rata-rata dapat menjadi informatif untuk penelitian kami (mis. Tanggal keberangkatan migrasi mungkin secara signifikan nanti untuk satu populasi DAN rentang tanggal keberangkatan lebih bervariasi).

— DeanP

(1) Sebut saja karena orang sering melihat perbedaan yang tidak sama semata-mata sebagai masalah teknis & lupa itu fakta menarik dalam dirinya sendiri.

— Scortchi

(2) Maksud saya adalah bahwa daftar nilai-p pada umumnya kurang bermanfaat daripada daftar perkiraan ukuran efek (yang bisa berarti, median, varian, atau apa pun) dengan interval kepercayaan. Terutama dengan sampel kecil, interval kepercayaan dapat menunjukkan apakah ukuran efek kepentingan praktis masih sesuai dengan data bahkan ketika nilai-p tinggi.

— Scortchi

(3) Saya sedang memikirkan satu variabel independen (grup) & beberapa variabel dependen (waktu migrasi & c.): Perbedaan yang menarik antara kelompok mungkin merupakan perubahan dalam hubungan antara variabel dependen. Langkah pertama akan menjadi matriks yang bagus dengan boxplots atau dotplots membandingkan setiap dv antara kelompok di sepanjang diagonal, & scatterplots untuk setiap pasangan dvs (lagi-lagi kelompok yang membedakan) di sel lain. Dan sejujurnya, untuk analisis eksplorasi dengan ukuran sampel kecil, itu bisa menjadi langkah terakhir.

— Scortchi

Pertama, seperti yang sudah ditunjukkan Scortchi, T-test tidak cocok untuk data Anda, karena asumsi tentang distribusi data.

Untuk poin kedua Anda, saya akan mengusulkan alternatif untuk uji-T. Jika minat Anda hanya tentang fakta, jika distribusi dua sampel Anda sama atau tidak, Anda juga dapat mencoba menggunakan versi dua sisi dari tes peringkat-jumlah Wilcoxon. Tes peringkat-jumlah Wilcoxon adalah tes non-parametrik. Tes semacam ini sangat membantu, jika Anda tidak yakin tentang distribusi yang mendasari data Anda.

Itu ada solusi yang tepat dari tes untuk ukuran sampel kecil serta untuk kohort besar. Selain itu, ada juga paket R yang mewujudkan uji peringkat-jumlah Wilcoxon.

Karena ini adalah tes bebas parameter dan juga menangani ukuran sampel kecil, tes ini harus sesuai untuk kasus uji Anda.

— Alex VII
sumber