Apakah tes signifikansi membandingkan kelompok acak pada awal?

Banyak makalah uji coba terkontrol secara acak (RCT) melaporkan uji signifikansi pada parameter awal hanya setelah / sebelum pengacakan untuk menunjukkan bahwa kelompok tersebut memang serupa. Ini sering merupakan bagian dari tabel "karakteristik dasar". Namun, tes signifikansi mengukur kemungkinan mendapatkan perbedaan yang diamati (atau lebih kuat) secara kebetulan, bukan? Dan jika tes ini signifikan, kami menyimpulkan bahwa ada perbedaan nyata karena perbedaan acak sejauh itu tidak mungkin . Apakah tes signifikansi masuk akal setelah pengacakan ketika kita tahu bahwa ada perbedaan pasti karena kebetulan ?

Tes hipotesis akan menjadi tidak masuk akal, tetapi tes signifikansi mungkin berguna.

Tes hipotesis akan menguji hipotesis nol yang sudah diketahui benar, seperti yang dijelaskan oleh pertanyaan Anda. Adalah konyol untuk menerapkan uji statistik pada hipotesis mana pun yang memiliki nilai kebenaran yang sudah diketahui melalui informasi yang sepenuhnya dapat diandalkan.

Tes signifikansi memberikan nilai P yang, sekali lagi seperti yang sudah Anda katakan, menunjukkan kemungkinan mendapatkan data sebagai ekstrem atau lebih ekstrem dengan hipotesis nol. Namun, bagi saya tampaknya nilai P seperti itu dapat ditafsirkan dengan cara yang setara dengan jawaban atas pertanyaan "Seberapa sering saya berharap melihat perbedaan dalam nilai dasar sebesar kali ini, atau lebih besar?" Jawabannya mungkin berguna bahkan jika tidak jelas untuk tujuan apa.