Post-hocs untuk tes subjek?

20

Apa metode yang disukai untuk melakukan post-hocs untuk dalam tes mata pelajaran? Saya telah melihat karya yang diterbitkan di mana Tukey's HSD digunakan tetapi review dari Keppel dan Maxwell & Delaney menunjukkan bahwa kemungkinan pelanggaran kebulatan dalam desain ini membuat istilah kesalahan salah dan pendekatan ini bermasalah. Maxwell & Delaney memberikan pendekatan untuk masalah dalam buku mereka, tetapi saya belum pernah melihatnya melakukannya dalam paket statistik apa pun. Apakah pendekatan yang mereka tawarkan sesuai? Apakah koreksi Bonferroni atau Sidak pada beberapa uji-t berpasangan masuk akal? Sebuah jawaban yang dapat diterima akan memberikan kode R umum yang dapat melakukan post-hocs pada desain sederhana, multi-arah, dan campuran seperti yang dihasilkan oleh ezANOVAfungsi dalam ezpaket, dan kutipan yang sesuai yang kemungkinan akan diterima dengan pengulas.

— russellpierce
sumber

1

Artikel ini oleh David Howell menjelaskan masalah dan beberapa solusi.

— Harvey Motulsky

ketika Anda menerima jawabannya menggunakan paket multcomp, dapatkah Anda menjelaskan sedikit tentang bagaimana akhirnya Anda menggunakan multcomp. Apakah Anda menggunakannya dengan lmeatau lmerberfungsi atau dengan beberapa metode yang lebih tradisional sebagai uji-t atau ANOVA (seperti yang saat ini saya coba gunakan dengan ANOVA).

— Henrik

Saya menerima jawaban multcomp terutama karena saya sama sekali tidak puas dengan teknik penyesuaian p-value yang dipilih komunitas sebagai jawaban "benar". Saya meliriknya dan itu tampak menjanjikan, tetapi saya tidak menyelidiki lebih lanjut. Saya akan tertarik mendengar lebih banyak tentang apa yang Anda coba dan apa yang Anda temukan.

— russellpierce

Saya menemukan cara menentukan ANOVA tindakan berulang yang digunakan lme, lihat komentar untuk jawaban yang diterima: stats.stackexchange.com/q/14088/442 Dengan objek kelas lmeyang dapat Anda gunakan multcompuntuk efek dalam subjek. Ia menawarkan berbagai jenis penyesuaian kesalahan-alpha, tetapi kebanyakan yang tidak Anda sukai (seperti yang saya usulkan yang terpilih sebagai "benar" oleh komunitas). Selain sketsa, ada juga buku multcompyang menjelaskan semua metode. Jika Anda ingin post-hocs tanpa penyesuaian, gunakan salah satu fit.contrastdari gmodelatau contrastpaket baru .

— Henrik

Apakah Anda masih tertarik dengan solusi untuk ezANOVAfungsi tersebut? Jika demikian, saya pikir saya bisa menjawab Q tetapi A akan bergantung pada tes untuk model univariat yang sphericity adalah asumsi kritis. Jika Anda tidak membutuhkan A untuk dibatasi pada perhitungan ANOVA ezpaket, saya bisa memberikan A yang menggunakan model multivariat untuk tes post-hoc.

— statmerkur

7

Lihatlah multcomp -package dan sketsa Inferensi Simultan dalam Model Parametrik Umum . Saya pikir itu harus melakukan apa yang tidak dan sketsa memiliki contoh yang sangat bagus dan referensi yang luas.

— Matti Pastell
sumber

21

Saat ini saya sedang menulis makalah di mana saya merasa senang untuk melakukan perbandingan antara dan dalam mata pelajaran. Setelah diskusi dengan supervisor saya, kami memutuskan untuk menjalankan t -tests dan menggunakan cukup sederhana Holm-Bonferroni method( wikipedia ) untuk mengoreksi alpha kesalahan penumpukan. Ini mengontrol untuk tingkat kesalahan familwise tetapi memiliki kekuatan yang lebih besar daripada prosedur Bonferroni biasa. Prosedur:

Anda menjalankan t -tests untuk semua perbandingan yang ingin Anda lakukan.
Anda memesan nilai- p sesuai dengan nilainya.
Anda menguji p- value terkecil terhadap alpha / k , yang terkecil terkecil terhadap alpha / ( k - 1), dan seterusnya hingga tes pertama ternyata tidak signifikan dalam urutan tes ini.

Cite Holm (1979) yang dapat diunduh melalui tautan di wikipedia .

— Henrik
sumber

1

mungkin ANOVA sebelum beberapa tes?

— stan

2

Saya pikir itu tersirat oleh jawabannya. Anda melakukan tes post-hoc setelah ANOVA yang signifikan.

— Henrik

2

@ Henrik: Saya harap saya tidak memukuli kuda mati di sini ... dengan memposting di posting lama. Jadi saya punya pertanyaan tentang cara Anda menjalankan tes-t. Apakah Anda menggunakan varian gabungan (dari ANOVA) atau apakah Anda hanya melakukan uji-t berpasangan independen? Alasan saya menanyakan hal ini adalah karena saya mencoba menggunakan pairwise.t.test()untuk melakukan perbandingan berpasangan dengan menggunakan metode Bonferroni atau metode Holm-Bonf, tetapi hasilnya berbeda secara drastis tergantung pada apakah saya menggunakan sd yang dikumpulkan atau memperlakukan setiap perbandingan sebagai komponen terpisah, independen. -uji. Terima kasih!

— Alex

2

@Alex: Menggunakan pendekatan 'terlindungi' di mana uji-t hanya dilakukan setelah ANOVA yang signifikan menyiratkan penggunaan istilah kesalahan gabungan. Namun, karena ini bukan pilihan yang sering diberikan oleh perangkat lunak statistik, orang cenderung tidak melakukannya. Selain itu, sejauh kebulatan dilanggar itu adalah hal yang dipertanyakan untuk dilakukan di tempat pertama.

— russellpierce

5

Saya ingat beberapa diskusi tentang ini di masa lalu; Saya tidak mengetahui implementasi pendekatan Maxwell & Delaney, meskipun seharusnya tidak terlalu sulit untuk dilakukan. Lihatlah " Tindakan Berulang ANOVA menggunakan R " yang juga menunjukkan salah satu metode untuk mengatasi masalah kebulatan di Tukey's HSD .

Anda mungkin juga menemukan deskripsi tes minat Friedman ini .

— Shane
sumber

Terima kasih, saya pikir tes Friedman menarik, tetapi saya tidak tahu bagaimana melakukan penyesuaian untuk kesalahan Tipe I di post-hoc. Komentar mengatakan itu adalah "tes Wilcoxon-Nemenyi-McDonald-Thompson" tetapi saya belum pernah mendengarnya sebelumnya, bisakah Anda menjelaskannya?

— russellpierce

@Shane Tautan pertama mati :-(

— Adam Ryczkowski

2

Ada DUA opsi untuk uji-F inferensial Dalam SPSS. Multivariat TIDAK mengasumsikan kebulatan, dan karenanya menggunakan korelasi berpasangan yang berbeda untuk setiap pasangan variabel. "Tes efek dalam mata pelajaran", termasuk semua tes post hoc, mengasumsikan kebulatan dan membuat beberapa koreksi untuk menggunakan korelasi umum di semua tes. Prosedur-prosedur ini adalah warisan dari hari-hari ketika perhitungan mahal, dan membuang-buang waktu dengan fasilitas komputasi modern.

Rekomendasi saya adalah mengambil omnibus MULTIVARIAT F untuk setiap tindakan berulang. Kemudian tindak lanjuti dengan post-hoc pairwise t-test, atau ANOVA dengan hanya 2 level dalam setiap perbandingan ukuran berulang jika ada juga antara faktor-faktor subjek. Saya akan melakukan koreksi bon ferroni sederhana untuk membagi tingkat alfa dengan jumlah tes.

Pastikan juga untuk melihat ukuran efek [tersedia dalam dialog opsi]. Ukuran efek besar yang 'dekat' dengan signifikan mungkin lebih layak diperhatikan [dan eksperimen di masa depan] daripada efek kecil, tetapi signifikan.

Pendekatan yang lebih canggih tersedia dalam prosedur SPSS CAMPURAN, dan juga dalam paket [tetapi gratis] yang kurang ramah pengguna seperti R.

Ringkasan, dalam SPSSS, F multivariat diikuti oleh post hocs berpasangan dengan Bon Ferroniwith Bonferroni harus memadai untuk sebagian besar kebutuhan.

0

Saya akan menggunakan fungsi R qtukey (1-alpha, means, df) untuk membuat CI keluarga-bijaksana.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

$S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

$MS_{Error}$ ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
sumber