Apakah Fisher's LSD seburuk yang mereka katakan?

Ketika kami melakukan percobaan (pada ukuran sampel kecil (biasanya ukuran sampel per kelompok perlakuan sekitar 7 ~ 8)) pada dua kelompok, kami menggunakan uji-t untuk menguji perbedaan. Namun, ketika kami melakukan ANOVA (jelas untuk lebih dari dua kelompok), kami menggunakan sesuatu di sepanjang garis Bonferroni (LSD / # perbandingan berpasangan) atau Tukey sebagai post hoc, dan sebagai mahasiswa, saya telah diperingatkan dari menggunakan Fisher's Least Significant Difference (LSD).

Sekarang masalahnya, LSD mirip dengan uji-t berpasangan (apakah saya benar?), Dan satu-satunya hal yang tidak diperhitungkan adalah bahwa kami melakukan beberapa perbandingan. Seberapa pentingkah saat berurusan dengan katakanlah 6 kelompok, jika ANOVA itu sendiri signifikan?

Atau dengan kata lain, apakah ada alasan ilmiah / statistik untuk menggunakan Fisher's LSD?

Fisher's LSD memang merupakan serangkaian uji-t berpasangan, dengan masing-masing tes menggunakan mean squared error dari ANOVA yang signifikan sebagai estimasi varians gabungan (dan secara alami mengambil derajat kebebasan yang terkait). Bahwa ANOVA menjadi signifikan merupakan kendala tambahan dari tes ini.

Ini membatasi tingkat kesalahan berdasarkan keluarga menjadi alpha dalam kasus khusus 3 kelompok saja. Howell memiliki penjelasan yang sangat bagus dan relatif sederhana tentang bagaimana melakukannya di Bab 16 bukunya, Fundamental Statistics for the Behavioral Sciences, edisi ke-8, David C. Howell .

Di atas 3 grup alfa mengembang dengan cepat (seperti yang dicatat oleh @Alexis di atas). Ini tentu tidak sesuai untuk 6 kelompok. Saya percaya bahwa penerapan terbatas inilah yang menyebabkan kebanyakan orang menyarankan untuk mengabaikannya sebagai suatu pilihan.

Seberapa penting perbandingan ganda ketika berhadapan dengan 6 kelompok? Baiklah ... dengan enam grup yang Anda hadapi maksimal kemungkinanperbandinganpost hocberpasangan. Saya akan membiarkan Randall Munroe yang tak terhindarkan membahas pentingnya beberapa perbandingan:$\frac{6(6-1)}{2} = 15$

Dan saya akan menambahkan bahwa jika, seperti dalam kalimat pembuka Anda, Anda menyarankan bahwa kadang-kadang Anda memiliki tujuh kelompok, maka jumlah maksimum tes berpasangan post hoc adalah $\frac{7(7-1)}{2} = 21$

Tes Fisher sama buruknya dengan semua orang mengatakan itu dari sudut pandang Neyman-Pearson dan jika Anda melakukan apa yang tersirat pertanyaan Anda --- setelah tes ANOVA yang signifikan setiap perbedaan individu. Anda dapat melihat ini di banyak makalah yang diterbitkan . Tetapi, menguji semua perbedaan setelah ANOVA, atau salah satunya, tidak perlu atau direkomendasikan. Dan, uji Fisher tidak dibuat di bawah teori kesimpulan statistik Neyman-Pearson.

Penting untuk diingat bahwa, ketika Fisher mengusulkan LSD, dia tidak benar-benar menganggap beberapa pengujian sebagai masalah penting karena dia tidak menganggap signifikansi cutoff sebagai aturan yang keras dan cepat untuk memutuskan apakah hasilnya penting atau tidak. Seseorang dapat membangun LSD sebagai cara mudah untuk membaca dengan teliti di mana mungkin ada hasil yang signifikan tetapi tidak wasit dari apa yang bermakna. Ingat, itu Fisher yang mengatakan bahwa Anda harus menjalankan lebih banyak subjek jika p > 0,05.

Dan mengapa Anda berpikir bahwa menguji semuanya adalah ide yang bagus? Pertimbangkan mengapa Anda menjalankan ANOVA sejak awal. Anda mungkin diajari bahwa itu karena menjalankan beberapa uji-t adalah bermasalah, karena Anda akrab dengan pertanyaan Anda. Lalu mengapa Anda menjalankannya, atau yang setara setelahnya? Saya tahu itu terjadi tetapi saya belum pernah perlu menjalankan tes setelah ANOVA. ANOVA memberi tahu Anda bahwa pola data Anda bukan serangkaian nilai yang sama, bahwa mungkin ada beberapa makna di sana. Banyak orang menutup telepon dengan hati-hati bahwa tes tidak memberi tahu Anda di mana bit-bit bermakna berada tetapi mereka lupa bahwa data, dan teori, mengatakan itu kepada Anda.

Alasan di balik LSD Fisher dapat diperluas ke kasus di luar N = 3.

Saya akan membahas kasus empat kelompok secara rinci. Untuk menjaga tingkat kesalahan Tipe-I yang sesuai dengan keluarga pada 0,05 atau di bawah, faktor koreksi perbandingan-ganda 3 (yaitu alpha per-perbandingan 0,05 / 3) cukup, meskipun ada enam perbandingan post-hoc di antara empat kelompok. Hal ini karena:

• dalam hal keempat mean sejati adalah sama, omnibus Anova selama empat kelompok membatasi tingkat kesalahan kekeluargaan menjadi 0,05;
• dalam hal tiga dari rata-rata yang sebenarnya sama dan yang keempat berbeda dari mereka, hanya ada tiga perbandingan yang berpotensi menghasilkan kesalahan Tipe-I;
• dalam hal dua mean sebenarnya sama dan berbeda dari dua lainnya, yang sama satu sama lain, hanya ada dua perbandingan yang berpotensi menghasilkan kesalahan Tipe-I.

Ini menguras kemungkinan. Dalam semua kasus, probabilitas menemukan satu atau lebih p di bawah 0,05 untuk kelompok yang rata-rata sejatinya sama, tetap pada atau di bawah 0,05 jika faktor koreksi untuk beberapa perbandingan adalah 3, dan ini adalah definisi dari tingkat kesalahan kekeluargaan.

Alasan empat kelompok ini adalah generalisasi dari penjelasan Fisher untuk metode tiga kelompok Least Significant Difference. Untuk kelompok N , faktor koreksi, jika uji omnibus Anova signifikan, adalah ( N -1) ( N -2) / 2. Jadi koreksi Bonferroni, dengan faktor N ( N -1) / 2, terlalu kuat. Cukuplah untuk menggunakan faktor koreksi alfa 1 untuk N = 3 (inilah mengapa Fisher's LSD bekerja untuk N = 3), faktor 3 untuk N = 4, faktor 6 untuk N = 5, faktor 10 untuk N = 6, dan seterusnya.