Haruskah saya mengecualikan efek acak dari model jika tidak signifikan secara statistik?

Haruskah saya memasukkan efek acak dalam model bahkan jika mereka tidak signifikan secara statistik? Saya memiliki desain eksperimental tindakan berulang, di mana setiap individu mengalami tiga perawatan yang berbeda dalam urutan acak. Saya ingin mengontrol efek individu dan ketertiban, tetapi tidak ada yang secara statistik signifikan dalam model saya. Apakah itu diperbolehkan untuk mengecualikan mereka, atau haruskah saya tetap memasukkannya?

Rekomendasi saya adalah untuk memasukkan efek acak dalam model bahkan jika mereka tidak signifikan secara statistik, dengan alasan bahwa analisis statistik kemudian lebih setia mewakili desain penelitian yang sebenarnya.

Ini memungkinkan Anda untuk menulis sesuatu seperti ini di bagian Metode Statistik Anda:

Efek acak dimasukkan untuk individu dan untuk mengontrol kemungkinan ketergantungan karena tindakan berulang atau efek pesanan.

Ini mungkin akan mencegah komentar resensi tentang asumsi ketergantungan atau replikasi semu. Lebih mudah untuk melakukan ini daripada "menjelaskan" mengapa tidak apa-apa untuk membatalkan ketentuan-ketentuan tersebut, bahkan jika mereka pada dasarnya tampak tidak berguna.

Juga, memiliki istilah-istilah dalam model mungkin tidak dikenakan biaya apa pun. Saya akan terkejut dan curiga jika hasilnya berubah secara dramatis ketika Anda menghapusnya.

Berikut beberapa pertimbangan:

Pragmatis:

Terkadang, distribusi data tidak memungkinkan pemasangan model ke data. Ini dapat terjadi ketika karena biaya, waktu atau usaha sangat sedikit percobaan dikumpulkan dengan sengaja, ketika data terlalu jarang dalam beberapa cara, atau ketika distribusi data berubah menjadi merosot atau terlalu datar.

Dalam hal ini, Anda mungkin tidak memiliki cara untuk melanjutkan selain menyederhanakan model, mungkin secara dramatis. Biasanya, saya mencoba untuk pertama menjatuhkan efek yang pada granularity terbaik, karena biasanya ada lebih banyak dari mereka yang diperkirakan.

Dalam kasus terburuk, Anda mungkin ingin melanjutkan seolah-olah data dikumpulkan secara independen. Ini mungkin lebih baik daripada tidak sama sekali, tetapi tes signifikan harus diambil dengan sebutir garam besar. Interpretasi hasil harus sedikit dilindung nilai.

Praktis:

Dalam beberapa situasi, mungkin masuk akal untuk menggabungkan istilah untuk mendapatkan beberapa informasi untuk melanjutkan. Di sini, saya lebih memikirkan desain eksperimental dalam penelitian dan pengembangan yang sedang berlangsung, daripada untuk publikasi.

Lorenzen dan Anderson (1993) memberikan aturan "kadang-kadang menyatu" untuk kasus di mana akan membantu untuk mendapatkan tes yang lebih tepat dari faktor-faktor lain dalam model.

• Suatu istilah dalam model akan dinyatakan dapat diabaikan dan kandidat untuk dihapus dari model dan kolom EMS jika tidak signifikan di $\alpha=0.25$ tingkat.
• Suatu istilah tidak boleh dihapus dari model jika interaksi tingkat tinggi yang melibatkan istilah itu signifikan pada $0.25$ tingkat.

Namun, sekali lagi, jenis aturan ini lebih untuk penggunaan praktis dan bukan untuk penggunaan publikasi, menurut saya.

Teoretis:

Sekarang, mungkin sebenarnya Anda mendapatkan hasil yang pada dasarnya "identik" ketika Anda menjatuhkan efek acak tersebut. Itu bagus tetapi Anda harus menyadari bahwa Anda sekarang menyesuaikan dua model yang berbeda, dan istilah mungkin perlu ditafsirkan berbeda meskipun mereka mungkin "sama".

Apa yang akan saya ambil dari itu adalah bahwa hasilnya kuat di bawah berbagai asumsi. Itu selalu hal yang baik.

Istilah menjatuhkan juga dapat dianggap sebagai bagian dari "pemilihan model", "pembangunan model", atau "penyederhanaan model". Ada berbagai metodologi di luar sana untuk pemilihan model. While "jatuhkan persyaratan dengan tidak signifikan$p$-nilai " adalah salah satu metode seperti itu, tampaknya tidak memiliki banyak dukungan secara teoritis pada umumnya. Saya tidak yakin bagaimana berbagai metodologi tarif dengan model campuran.

Juga, tergantung pada bagaimana Anda ingin menafsirkan hasil dari model Anda, Anda mungkin tidak ingin "menyederhanakan" itu. Littell et al (2006) memiliki sedikit diskusi (hal. 211) tentang inferensi sempit versus lebar dan inferensi populasi-luas versus subjek-spesifik dalam suasana yang sederhana. Dalam kasus Anda, Anda mungkin tertarik pada kesimpulan luas, membuat kesimpulan yang berkaitan dengan seluruh populasi dan bukan hanya individu dalam penelitian Anda.

Bagaimanapun, dalam kasus Anda, studi Anda dijalankan dengan cara yang memperkenalkan potensi ketergantungan berdasarkan pesanan dan individu. Jika Anda dapat secara akurat memodelkan struktur studi Anda, maka Anda harus melakukannya.

Referensi:

Littell, Milliken, Stroup, Wolfinger, dan Schabenberger (2006) SAS untuk Model Campuran. SAS.

Lorenzen dan Anderson (1993) Desain Eksperimen: Pendekatan Tanpa Nama. Marcel Dekker, Inc.