Konsekuensi melebihi ukuran sampel setelah penentuan sampel dalam analisis daya

Tantangan

Di kantor kami, saya telah terlibat dalam diskusi tentang ukuran sampel dan pengaruhnya terhadap ukuran efek - dapatkah Anda membantu saya dan menjelaskan lebih lanjut?

Mendasarkan

Saat melakukan analisis daya, orang dapat menentukan ukuran sampel untuk ukuran efek tertentu dalam desain tertentu.

Masalah / Diskusi

Apa yang terjadi jika ukuran sampel yang ditentukan apriori terlampaui (mis. Sampel yang ditentukan dalam analisis daya adalah , tetapi kita dapat memperoleh )? $N=100$ $N=1000$

Posisi 1: Ukuran sampel besar memotong / menghancurkan ukuran efek. Ketika menggunakan sampel yang lebih besar daripada yang ditentukan dalam analisis daya, bahaya terjadi bahwa "semuanya menjadi signifikan" (bahkan efek kecil, praktis tidak relevan). Oleh karena itu, kita harus mengandalkan sampel yang ditentukan dari analisis daya. Dengan melakukan itu, kita dapat mengungkapkan efek "nyata / relevan".

atau

Posisi 2: Penentuan ukuran sampel mengacu padaukuran sampel minimal yang diperlukan untuk mengungkapkan efek yang diberikan. Ukuran sampel yang besar bermanfaat, misalnya karena mengurangi kesalahan pengukuran. Karena itu, efek nyata dapat terungkap lebih mudah. Perhitungan ukuran efek post hoc menawarkan informasi tentang relevansi efek.

atau

Posisi 3: Posisi 1 versus posisi 2 tergantung pada desain penelitian (mis. Posisi 1 untuk Uji-t karena mencari "efek yang relevan", tetapi posisi 2 untuk CFA / SEM untuk mendapatkan hasil yang lebih stabil dan andal).

atau

Posisi 4: Posisi lain yang memungkinkan untuk penjelasan alternatif.

— Jens
sumber

bahaya terjadi bahwa "semuanya menjadi signifikan" (bahkan efek kecil, praktis tidak relevan).

Ini bukan argumen terhadap ukuran sampel besar, ini argumen langsung terhadap pengujian hipotesis untuk masalah khusus Anda.

Jika Anda memiliki masalah dalam menolak ukuran efek kecil, jangan gunakan tes hipotesis biasa .

Mungkin Anda memerlukan tes kesetaraan (atau mungkin tes non-inferioritas).

Mungkin Anda memerlukan perkiraan interval ukuran efek (mis. Interval kepercayaan).

Mungkin Anda membutuhkan sesuatu yang lain.

Ini juga berkaitan dengan Posisi 3. Jika Anda memiliki gagasan tentang "efek yang relevan" Anda tidak boleh menggunakan tes hipotesis biasa .

Jika posisi Anda bukanlah kekuatan yang lebih baik, berhentilah menggunakan tes hipotesis itu . Itu bukan alat yang tepat untuk pekerjaan itu.

— Glen_b -Reinstate Monica
sumber

Tes kesetaraan ... Saya harus mendapatkan info lebih lanjut tentang ini. Sangat masuk akal ...

— Antoni Parellada

Apa sajakah sumber yang baik untuk belajar tentang tes kesetaraan? Saya belum menemukan banyak online.

— Klarinetis

Perusahaan saya didekati oleh perusahaan lain yang meminta umpan balik pada desain studi yang diusulkan. Mereka berusaha menggunakan uji dua sisi formulir

H_{0} : μ_{1} - μ_{2} = 0 vs. H_{Sebuah} : μ_{1} - μ_{2} \neq 0

$H_0 : \mu_1 - \mu_2 = 0 \quad \text{vs.} \quad H_a : \mu_1 - \mu_2 \ne 0$ untuk menunjukkan bahwa tidak ada perbedaan dalam cara. Ketika saya menunjukkan kepada mereka pada dua kesempatan terpisah mengapa ini benar-benar salah, dan menunjukkan kepada mereka bahwa badan pengawas yang mengawasi perilaku mereka mengetahui kekurangan ini, mereka mengabaikan saya.

— heropup

Untuk membuat klaim kesetaraan , maka, struktur tes hipotesis bisa (untuk menguji perbedaan dalam mean)

H_{0} : | μ_{1} - μ_{2} | \geq Δ vs. H_{Sebuah} : | μ_{1} - μ_{2} | < Δ,

$H_0 : |\mu_1 - \mu_2| \ge \Delta \quad \text{vs.} \quad H_a : |\mu_1 - \mu_2| < \Delta,$ dimana

Δ

$\Delta$ adalah beberapa margin kesetaraan yang dianggap sebagai standar kesamaan yang dapat diterima. Catatan kita tidak bisa begitu saja membalik

H_{0}

$H_0$ dan

H_{a}

$H_a$ . Saya meninggalkannya sebagai latihan bagi pembaca untuk mencari tahu mengapa.

— heropup

@ Glen_b dapatkah Anda menyebutkan beberapa referensi untuk mempelajari lebih lanjut tentang tes kesetaraan? Namun, saya hanya menemukan beberapa kertas.

— Jens