Bonferroni atau Tukey? Kapan jumlah perbandingan menjadi besar?

Membaca Statistik Statistik Fielding Menggunakan SPSS (Edisi ke-3) Saya sedikit terkejut dengan tes post-hoc di ANOVA. Bagi mereka yang ingin mengendalikan tingkat kesalahan Tipe I ia menyarankan Bonferroni atau Tukey dan mengatakan (hal. 374):

Bonferroni memiliki kekuatan lebih ketika jumlah perbandingan kecil, sedangkan Tukey lebih kuat ketika menguji sejumlah besar cara.

Di mana garis harus ditarik antara sejumlah kecil dan besar cara?

— Parbury
sumber

Di bagian bawah halaman Web berikut dari NIST / SEMATECH, itl.nist.gov/div898/handbook/prc/section4/prc473.htm,it dianjurkan bahwa kedua tes harus preformed dan lebih kecil dari dua interval diambil. Saya telah menemukan komentar serupa di Johnson dan Wichern tentang melakukan MANOVA.

— schenectady

@schenectady Jawaban yang bagus! Mengapa Anda tidak menempelkannya ke balasan? BTW, tautannya rusak dalam komentar Anda; yang benar adalah itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Satu poin singkat pertama: Kekuasaan berhubungan langsung dengan tingkat kesalahan Tipe II, bukan Tipe I. Sekarang maafkan saya, tetapi saya akan memuntahkan beberapa pendapat. Mungkin apa yang Anda lakukan dilihat sebagai "game sistem," mencoba untuk rig itu sehingga lebih banyak hasil diklasifikasikan sebagai sig. atau tidak. Penilaian biner ini jauh lebih tidak informatif, dan berpotensi jauh lebih menyesatkan, daripada laporan ukuran efek aktual - dalam kasus Anda, mengenai perbedaan kelompok dalam rata-rata. Saya suka melihat orang menggunakan nilai- p untuk hiasan hasil daripada untuk menyusunnya. Akhir editorial - bantah!

— rolando2

"Di bagian bawah halaman Web berikut dari NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , direkomendasikan bahwa kedua tes harus dibuat sebelumnya dan yang lebih kecil dari dua interval diambil Saya telah menemukan komentar serupa di Johnson dan Wichern tentang melakukan MANOVA. - @schenectady 11 Apr '11 jam 12:31 "Ini dianggap data mining dan tidak boleh dilakukan. Pilihan tukey vs Bonferroni harus dibuat sebelum analisis.

Dokumentasi online Minitab tampaknya menawarkan saran serupa support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

Selain tautan bermanfaat yang disebutkan dalam komentar oleh @schenectady.

Saya juga akan menambahkan poin bahwa koreksi Bonferroni berlaku untuk kelas masalah yang lebih luas. Sejauh yang saya ketahui, Tukey's HSD hanya diterapkan pada situasi di mana Anda ingin memeriksa semua perbandingan berpasangan, sedangkan koreksi Bonferroni dapat diterapkan pada serangkaian tes hipotesis.

Secara khusus, koreksi Bonferroni berguna ketika Anda memiliki satu set kecil perbandingan yang direncanakan, dan Anda ingin mengendalikan tingkat kesalahan Tipe I yang berdasarkan keluarga. Ini juga memungkinkan perbandingan majemuk. Misalnya, Anda memiliki ANOVA 6 arah dan Anda ingin membandingkan rata-rata grup 1, 2, dan 3 dengan grup 4, dan Anda ingin membandingkan grup 5 dengan 6.

Untuk menggambarkan lebih lanjut, Anda dapat menerapkan koreksi Bonferroni untuk menilai signifikansi korelasi dalam matriks korelasi, atau sekumpulan efek utama dan interaksi dalam ANOVA. Namun, koreksi semacam itu biasanya tidak diterapkan, mungkin karena alasan bahwa pengurangan tingkat kesalahan Tipe I menghasilkan pengurangan daya yang tidak dapat diterima.

— Jeromy Anglim
sumber

hanya ingin tahu jika Anda memiliki kutipan untuk: "Namun, koreksi seperti itu biasanya tidak diterapkan, mungkin karena alasan bahwa pengurangan tingkat kesalahan Tipe I menghasilkan pengurangan daya yang tidak dapat diterima." Terima kasih banyak!

Selamat datang di situs ini. Ini harus diposting sebagai komentar, bukan jawaban.

— Peter Flom - Pasang kembali Monica

@Jessica. Tidak, saya tidak memiliki kutipan untuk klaim itu. Tetapi cukup mudah untuk menunjukkan melalui simulasi, formula, atau bahkan hanya pengetahuan dasar tentang faktor-faktor yang mempengaruhi kekuatan statistik (yaitu, faktor-faktor tersebut termasuk alfa).

— Jeromy Anglim