Jika saya memiliki banyak hasil positif, tidak signifikan, dapatkah saya menguji "setidaknya

Katakanlah saya telah menjalankan regresi yang sama untuk 100 orang yang berbeda secara terpisah. Koefisien minat saya positif (dan sangat berbeda satu sama lain) tetapi secara statistik tidak signifikan dalam semua 100 hasil (misalkan setiap p-value = 0,11).

Apakah ada cara untuk menggabungkan nilai-p ini untuk menyimpulkan "setidaknya 80 hasil ini positif" dengan signifikansi yang lebih besar daripada p = 0,11? Pencarian online saya hanya menunjukkan kepada saya bagaimana mengatakan "setidaknya 1 dari hasil ini adalah positif" melalui tes Fisher atau sejenisnya, tetapi saya belum dapat menggeneralisasi hasil itu. Saya ingin menguji "H0 = semua 100 efek sama pada 0" terhadap "HA = setidaknya 80 efek positif."

Tujuan saya bukan untuk mengatakan ada koefisien positif rata-rata, dan juga tidak secara khusus mengukur koefisien. Tujuan saya adalah untuk menunjukkan, dengan signifikansi, bahwa setidaknya 80 orang secara individu menghadapi beberapa efek positif terlepas dari mana 80, dan terlepas dari besarnya efek yang dirasakan oleh masing-masing individu.

Anda harus melakukan semua 100 analisis sebagai model efek campuran tunggal, dengan koefisien variabel acak minat Anda sendiri. Dengan begitu Anda dapat memperkirakan distribusi untuk koefisien-koefisien tersebut termasuk rata-rata keseluruhannya, yang akan memberi Anda semacam interpretasi yang saya pikir Anda cari.

Memperhatikan bahwa, jika seperti yang saya duga, Anda memiliki serangkaian waktu untuk setiap individu, Anda juga perlu mengoreksi autokorelasi residu.

Hal paling sederhana untuk dilakukan mungkin adalah tes tanda. Hipotesis nol adalah bahwa setiap hasil memiliki probabilitas yang sama untuk menjadi positif atau negatif (seperti membalik koin yang adil). Tujuan Anda adalah untuk menentukan apakah hasil yang diamati tidak akan cukup di bawah hipotesis nol ini sehingga Anda dapat menolaknya.

Berapa probabilitas mendapatkan 80 atau lebih kepala dari 100 flips koin yang adil? Anda dapat menghitung ini menggunakan distribusi binomial. Di R, fungsi yang relevan dipanggil pbinom, dan Anda bisa mendapatkan nilai p (satu sisi) menggunakan baris kode berikut:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Menurut tes ini, intuisi Anda benar, Anda akan sangat tidak mungkin mendapatkan 80 hasil positif secara kebetulan jika perawatan tidak berpengaruh.

Opsi yang berkaitan erat adalah menggunakan sesuatu seperti uji peringkat bertanda Wilcoxon .

Sebuah lebih baik pendekatan, jika Anda benar-benar ingin memperkirakan ukuran efeknya (bukan hanya menentukan apakah itu cenderung lebih besar dari nol atau tidak), mungkin akan menjadi hirarkis ( "mixed") model.

Di sini, model mengatakan bahwa hasil 100 individu Anda berasal dari distribusi, dan tujuan Anda adalah untuk melihat di mana rata-rata distribusi itu (bersama dengan interval kepercayaan).

Model campuran membiarkan Anda mengatakan sedikit lebih banyak tentang ukuran efek Anda: setelah menyesuaikan model, Anda dapat mengatakan sesuatu seperti "kami memperkirakan bahwa perawatan kami cenderung meningkatkan hasil rata-rata tiga unit, meskipun data konsisten dengan rata-rata sebenarnya ukuran efek berkisar antara 1,5 hingga 4,5 unit. Juga, ada beberapa variasi di antara individu, sehingga orang yang diberikan mungkin melihat efek di mana saja dari -0,5 hingga +6,5 unit ".

Itu seperangkat pernyataan yang sangat tepat dan berguna - jauh lebih baik daripada hanya "efeknya mungkin positif, rata-rata", itulah sebabnya pendekatan ini cenderung disukai oleh ahli statistik. Tetapi jika Anda tidak membutuhkan semua detail itu, pendekatan pertama yang saya sebutkan mungkin juga baik-baik saja.

Mungkin saya salah paham, tetapi menurut saya Anda mencoba melakukan tindakan ANOVA berulang-ulang. Cukup definisikan "boneka" ini sebagai faktor dalam-subjek, dan model akan melakukan sisanya. Signifikansi itu sendiri tidak terlalu informatif; diperlukan tetapi tidak cukup; model apa pun akan menjadi signifikan dengan jumlah pengamatan yang cukup besar. Anda mungkin ingin mendapatkan ukuran efek, seperti (sebagian) Eta-Squared, untuk mendapatkan gambaran seberapa "besar" efek Anda. 2 sen saya.

Ini mungkin sesederhana perhitungan ANCOVA biasa, tetapi cara yang tepat untuk menganalisis data Anda akan tergantung pada situasi fisik dan Anda belum memberikan detail itu.