Mengapa pengujian hipotesis frequentist menjadi bias terhadap penolakan hipotesis nol dengan sampel yang cukup besar?

Saya baru saja membaca artikel ini tentang faktor Bayes untuk masalah yang sama sekali tidak terkait ketika saya menemukan bagian ini

Pengujian hipotesis dengan faktor Bayes lebih kuat daripada pengujian hipotesis frequentist, karena bentuk Bayesian menghindari bias pemilihan model, mengevaluasi bukti yang mendukung hipotesis nol, termasuk ketidakpastian model, dan memungkinkan model yang tidak bersarang untuk dibandingkan (walaupun tentu saja model harus memiliki variabel terikat yang sama). Juga, uji signifikansi frequentist menjadi bias dalam mendukung penolakan hipotesis nol dengan ukuran sampel yang cukup besar. [penekanan ditambahkan]

Saya telah melihat klaim ini sebelumnya dalam makalah Karl Friston 2012 di NeuroImage , di mana ia menyebutnya sebagai kesalahan inferensi klasik .

Saya agak kesulitan menemukan akun pedagogis yang benar tentang mengapa ini harus benar. Secara khusus, saya bertanya-tanya:

1. mengapa ini terjadi
2. bagaimana menjaga itu
3. gagal itu, bagaimana cara mendeteksinya

$p$$p$

Jawaban untuk pertanyaan 2: Dalam kerangka pengujian hipotesis yang sering dilakukan, seseorang dapat mencegah hal ini dengan tidak membuat kesimpulan semata-mata tentang mendeteksi perbedaan . Sebagai contoh, seseorang dapat menggabungkan kesimpulan tentang perbedaan dan kesetaraan sehingga seseorang tidak memihak (atau menyatukan!) Beban pembuktian pada bukti efek versus bukti tidak adanya efek . Bukti tidak adanya efek berasal dari, misalnya:

1. dua tes satu sisi untuk kesetaraan (TOST),
2. uji seragam yang paling kuat untuk kesetaraan , dan
3. $1-2\alpha$$\alpha$

Apa yang didekati oleh semua bagian ini adalah keputusan apriori tentang ukuran efek yang merupakan perbedaan yang relevan dan hipotesis nol yang dibingkai dalam hal perbedaan setidaknya sebesar yang dianggap relevan.

$_{0}^{+}$$_{0}^{-}$

Perhatikan kuadran kiri atas: tes yang terlalu kuat adalah tes di mana ya Anda menolak hipotesis nol tidak ada perbedaan, tetapi Anda juga menolak hipotesis nol perbedaan yang relevan, jadi ya ada perbedaan, tetapi Anda memiliki apriori memutuskan Anda tidak peduli itu karena terlalu kecil.

Jawaban pertanyaan 3: Lihat jawaban 2.

Tes yang sering dilakukan dengan sampel besar JANGAN menunjukkan bias terhadap penolakan hipotesis nol jika hipotesis nol itu benar. Jika asumsi pengujian valid dan hipotesis nol benar maka tidak ada lagi risiko sampel besar yang mengarah pada penolakan hipotesis nol daripada sampel kecil. Jika nol tidak benar maka kita pasti akan senang untuk menolaknya, sehingga fakta bahwa sampel besar akan lebih sering menolak null palsu daripada sampel kecil bukan 'bias' tetapi perilaku yang sesuai.

Ketakutan akan 'eksperimen yang terlalu kuat' didasarkan pada anggapan bahwa menolak hipotesis nol adalah hal yang tidak baik bila hampir benar. Tetapi jika itu hanya hampir benar maka itu sebenarnya salah! Tolak, tetapi jangan luput memperhatikan (dan dengan jelas melaporkan) ukuran efek yang diamati. Mungkin sepele kecil dan karena itu tidak layak dipertimbangkan serius, tetapi keputusan tentang masalah itu harus dibuat setelah pertimbangan informasi dari luar tes hipotesis.