Apakah menambah ukuran sampel secara dinamis oke, jika dinyatakan secara apriori?

Saya akan melakukan studi tentang manfaat dari satu stimulus dibandingkan yang lain dengan desain dalam-subjek. Saya memiliki skema permutasi yang dirancang untuk mengurangi efek urutan beberapa bagian penelitian (urutan jenis tugas, urutan stimulus, urutan tugas yang ditetapkan). Skema permutasi menentukan bahwa ukuran sampel dapat dibagi 8.

Untuk menentukan ukuran sampel saya harus mengambil tebakan liar (menjadi tradisi yang baik di bidang saya) atau menghitung ukuran sampel untuk kekuatan yang saya inginkan. Masalahnya sekarang adalah saya tidak memiliki petunjuk sedikit pun seberapa besar ukuran efek yang akan saya amati (juga merupakan tradisi yang baik di bidang saya). Itu berarti perhitungan daya agak sulit. Sebaliknya, menerima tebakan liar mungkin juga buruk karena saya bisa keluar dengan ukuran sampel terlalu rendah atau membayar terlalu banyak uang kepada peserta saya dan menghabiskan terlalu banyak waktu di lab.

Apakah saya tetap menyatakan di muka bahwa saya menambahkan peserta dalam batch 8 orang sampai saya meninggalkan koridor dengan dua nilai p? Misal 0,05 <p <0,30? Atau bagaimana lagi, yang akan Anda rekomendasikan, saya harus melanjutkan?

Pertama, untuk menjawab pertanyaan Anda secara langsung: tidak, Anda tidak bisa terus berjalan sampai Anda mendapatkan nilai p yang signifikan. Desain yang Anda usulkan memiliki tingkat kesalahan tipe I di atas 5%. Namun ide yang mendasarinya benar, kecuali Anda harus menyesuaikan cutoffs. Bahkan, seperti yang disebutkan @ cardinal dalam komentar, ada seluruh bidang penelitian untuk pertanyaan Anda: ini disebut berurutan, atau berurutan-kelompok, atau lebih umum, desain adaptif (mereka bukan hal yang sama, tetapi sepanjang baris ide Anda).

Berikut ini adalah referensi yang menunjukkan beberapa ide dasar: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Mengoptimalkan Desain Percobaan: Sirkulasi Strategi Pengurutan Berurutan, Adaptif, dan Pengayaan . 2009; 119: 597-605

Sudahkah Anda mempertimbangkan untuk melihat kekuatan pada berbagai ukuran efek? Sebagai contoh, saya sering menghitung daya sebagai kurva, dan berakhir dengan segudang skenario potensial dimasukkan ke dalam grafik, di mana saya kemudian dapat membuat keputusan ukuran sampel. Sebagai contoh, saya dapat menghitung ukuran sampel yang diperlukan untuk ukuran efek mulai dari sangat dekat ke nol hingga sedikit lebih tinggi daripada impian saya yang paling liar, yang akan berlayar dengan teman sejawat.

Saya mungkin juga merencanakan skenario lain, tergantung pada seberapa banyak saya tidak tahu tentang data. Sebagai contoh, di bawah ini adalah plot yang menghitung daya, bukan ukuran sampel, tetapi memiliki konsep yang mirip dengannya. Saya tahu sedikit tentang data, jadi saya mengasumsikan tingkat kejadian 10% untuk analisis kelangsungan hidup, dan kemudian menghitung kekuatan penelitian (ukuran sampel tetap) atas sejumlah kondisi:

Satu bahkan mungkin dapat bervariasi dalam hal ini jumlah peristiwa, yang akan meninggalkan Anda dengan beberapa plot, atau "Permukaan Daya". Itu tampaknya menjadi cara yang lebih cepat untuk menangani setidaknya di mana Anda harus mencari ukuran sampel, daripada memodifikasi ukuran sampel dengan cepat. Atau setidaknya memberi Anda ambang di mana Anda dapat berhenti menambahkan orang. Misalnya, jika perhitungan Anda memberi tahu Anda 1.000 orang akan membiarkan Anda melihat efek sesuatu yang sangat kecil - misalnya, rasio bahaya 1,01 atau sejenisnya - Anda tahu bahwa jika Anda menekannya, Anda dapat berhenti mencoba menambahkan orang, karena itu bukan masalah kekuatan, tapi masalah "Tidak ada apa-apa di sana".

Ketika melakukan perhitungan kekuatan, pertanyaan yang biasa saya tanyakan (di bidang saya, yang juga memiliki tradisi-tradisi ini) cenderung menjadi "Seberapa besar dampak yang harus ditimbulkan bagi orang untuk peduli?". Jika metode Anda "secara signifikan" lebih baik dengan peningkatan 0,1%, apakah ada yang peduli? Bagaimana dengan peningkatan 0,01%?