Apakah kita memerlukan tes global sebelum tes post hoc?

Saya sering mendengar bahwa post hoc test setelah ANOVA hanya dapat digunakan jika ANOVA itu signifikan.

Namun, tes post hoc menyesuaikan nilai untuk menjaga tingkat kesalahan tipe I global sebesar 5%, bukan? $p$
Jadi mengapa kita perlu tes global terlebih dahulu?
Jika kita tidak memerlukan tes global apakah terminologi "post hoc" benar?
Atau ada beberapa jenis tes post hoc, beberapa mengasumsikan hasil tes global yang signifikan dan yang lain tanpa asumsi itu?

anova statistical-significance post-hoc

— bahkan
sumber

Jawaban:

Karena beberapa tes perbandingan sering disebut 'post test', Anda akan berpikir mereka secara logis mengikuti ANOVA satu arah. Sebenarnya, ini tidak benar.

" Sebuah praktik umum yang tidak menguntungkan adalah mengejar beberapa perbandingan hanya ketika hipotesis lambung homogenitas ditolak. " ( Hsu, halaman 177 )

Apakah hasil post test akan valid jika nilai P keseluruhan untuk ANOVA lebih besar dari 0,05?

Anehnya, jawabannya adalah ya. Dengan satu pengecualian, post test adalah valid meskipun ANOVA keseluruhan tidak menemukan perbedaan yang signifikan di antara rata-rata.

Pengecualian adalah tes perbandingan berganda yang pertama kali ditemukan, tes Fisher Least Significant Difference (LSD) yang dilindungi. Langkah pertama dari tes LSD yang dilindungi adalah untuk memeriksa apakah keseluruhan ANOVA menolak hipotesis nol dari cara yang identik. Jika tidak, perbandingan individual tidak boleh dibuat. Tetapi tes LSD yang dilindungi ini sudah ketinggalan zaman, dan tidak lagi direkomendasikan.

Apakah mungkin untuk mendapatkan hasil 'signifikan' dari beberapa uji perbandingan bahkan ketika ANOVA keseluruhan tidak signifikan?

Ya itu mungkin. Pengecualian adalah tes Scheffe. Ini terkait dengan uji F keseluruhan. Jika keseluruhan ANOVA memiliki nilai P lebih besar dari 0,05, maka tes Scheffe tidak akan menemukan tes postingan yang signifikan. Dalam hal ini, melakukan post test mengikuti ANOVA keseluruhan yang tidak signifikan adalah buang-buang waktu tetapi tidak akan mengarah pada kesimpulan yang tidak valid. Tetapi beberapa tes perbandingan lainnya dapat menemukan perbedaan yang signifikan (kadang-kadang) bahkan ketika ANOVA keseluruhan tidak menunjukkan perbedaan yang signifikan di antara kelompok-kelompok.

Bagaimana saya bisa memahami kontradiksi yang tampak antara sebuah ANOVA yang mengatakan, pada dasarnya, bahwa semua rata-rata kelompok adalah sama dan perbedaan hasil post test?

ANOVA satu arah secara keseluruhan menguji hipotesis nol bahwa semua kelompok perlakuan memiliki nilai rata-rata yang identik, sehingga setiap perbedaan yang Anda amati adalah karena pengambilan sampel acak. Setiap tes pos menguji hipotesis nol bahwa dua kelompok tertentu memiliki cara yang identik.

Post test lebih fokus, sehingga memiliki kekuatan untuk menemukan perbedaan antara kelompok bahkan ketika ANOVA keseluruhan melaporkan bahwa perbedaan di antara rata-rata tidak signifikan secara statistik.

Apakah hasil keseluruhan ANOVA bermanfaat sama sekali?

ANOVA menguji hipotesis nol keseluruhan bahwa semua data berasal dari kelompok yang memiliki cara yang identik. Jika itu adalah pertanyaan eksperimental Anda - apakah data memberikan bukti yang meyakinkan bahwa rata-rata tidak semuanya sama - maka ANOVA persis seperti yang Anda inginkan. Lebih sering, pertanyaan eksperimental Anda lebih fokus dan dijawab oleh beberapa tes perbandingan (post test). Dalam kasus ini, Anda dapat dengan aman mengabaikan hasil ANOVA keseluruhan dan langsung beralih ke hasil post test.

Perhatikan bahwa perhitungan perbandingan berganda semua menggunakan hasil mean-square dari tabel ANOVA. Jadi, bahkan jika Anda tidak peduli tentang nilai F atau nilai P, post test masih mengharuskan tabel ANOVA dihitung.

— Harvey Motulsky
sumber

Ini adalah jawaban yang bagus Harvey - terima kasih telah menulisnya!

— pmgjones

(+1) Dua paragraf terakhir memberikan konteks yang baik untuk memahami dan menghargai seluruh jawaban.

— whuber

Jawaban yang sangat bagus dan saya akan menambahkan beberapa kutipan dari Maxwell dan Delaney (2004): "... metode ini [misalnya, Bonferroni, Tukey, Dunnet, dll.] Harus dilihat sebagai pengganti untuk tes omnibus karena mereka mengendalikan alphaEW pada Anda level yang diinginkan sendiri. Memerlukan tes omnibus yang signifikan sebelum melanjutkan untuk melakukan analisis ini, seperti yang kadang-kadang dilakukan, hanya berfungsi untuk menurunkan alphaEW di bawah level yang diinginkan (Bernhardson, 1975) dan karenanya menurunkan daya secara tidak tepat "(hal. 236) .

— dfife

Saya suka "jadi punya kekuatan untuk menemukan perbedaan antar kelompok ..."

— SmallChess

Meskipun tidak dalam pertanyaan, saya pikir saya harus menyebutkan - karena mungkin tidak jelas - bahwa situasi sebaliknya juga mungkin dalam beberapa situasi (bahwa tes omnibus menolak tetapi tidak ada perbandingan berpasangan)

— Glen_b

(1) Tes post hoc mungkin atau mungkin tidak mencapai tingkat kesalahan global Tipe I nominal, tergantung pada (a) apakah analis menyesuaikan jumlah tes dan (b) sejauh mana tes post-hoc independen dari satu lain. Menerapkan tes global pertama adalah perlindungan yang cukup kuat terhadap risiko (bahkan secara tidak sengaja) mengungkap hasil "signifikan" palsu dari pengintaian data post-hoc .

(2) Ada masalah kekuasaan. Telah diketahui secara luas bahwa uji F ANOVA global dapat mendeteksi perbedaan rata-rata bahkan dalam kasus-kasus di mana tidak ada uji-t individu dari salah satu pasangan sarana yang akan menghasilkan hasil yang signifikan. Dengan kata lain, dalam beberapa kasus, data dapat mengungkapkan bahwa rata-rata yang sebenarnya kemungkinan berbeda tetapi tidak dapat mengidentifikasi dengan cukup percaya diri yang mana pasangan rata-rata berbeda.

— whuber
sumber

Re (2): ketika Anda mengatakan bahwa ANOVA satu arah dapat melaporkan perbedaan yang signifikan ketika tidak ada uji-t berpasangan yang melakukannya, apakah Anda merujuk pada non-penyesuaian sederhana ("non post", mis. Bukan prosedur Tukey atau apa pun) uji-t? Saya pikir ini tidak akan mungkin, apakah saya salah?

— Amuba kata Reinstate Monica

@amoeba Itu benar; Saya merujuk pada tes berpasangan yang tidak disesuaikan. Terima kasih telah menjelaskan poin ini.

— Whuber

Terima kasih, @whuber. Saya mencoba untuk menemukan diskusi tentang hal ini di sini di CrossValidated, tetapi tidak berhasil. Jadi saya memposting pertanyaan saya sendiri tentang bagaimana mungkin situasi seperti itu: stats.stackexchange.com/questions/83030/… . Saya akan sangat berterima kasih jika Anda bisa menjelaskan di sana!

— Amuba mengatakan Reinstate Monica

@amoba dan @whuber: Anda mungkin tahu ini, tapi saya tetap ingin menjelaskannya. Perhatikan bahwa tes ANOVA mungkin signifikan meskipun tidak ada tes HSD Tukey. Contoh R sederhana dengan kumpulan data seimbang dengan tiga kelompok:

set.seed(249);  group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)

— Karl Ove Hufthammer

Nah, tidak bisakah Anda setidaknya menduga bahwa ada perbedaan antara dua cara dengan perbedaan terbesar di antara mereka, karena hipotesis nol dari ANOVA adalah bahwa setidaknya satu pasangan cara berbeda satu sama lain?

— Speldosa