Jika hipotesis B adalah hipotesis menarik, Anda dapat menganggap tidak-B sebagai hipotesis nol dan mengendalikan, di bawah nol, probabilitas kesalahan tipe I untuk menolak not-B pada level . Menolak not-B kemudian diartikan sebagai bukti yang mendukung B karena kita mengendalikan kesalahan tipe I, oleh karena itu tidak mungkin bahwa not-B benar. Bingung ... ? α
Ambil contoh pengobatan vs tanpa perawatan dalam dua kelompok dari suatu populasi. Hipotesis yang menarik adalah bahwa pengobatan memiliki efek, yaitu, ada perbedaan antara kelompok yang diobati dan kelompok yang tidak diobati karena perlakuan. Hipotesis nol adalah bahwa tidak ada perbedaan, dan kami mengontrol kemungkinan salah menolak hipotesis ini. Dengan demikian kami mengontrol kemungkinan salah menyimpulkan bahwa ada efek pengobatan ketika tidak ada efek pengobatan. Kesalahan tipe II adalah probabilitas salah menerima nol ketika ada efek pengobatan.
Formulasi di atas didasarkan pada kerangka Neyman-Pearson untuk pengujian statistik, di mana pengujian statistik dipandang sebagai masalah keputusan antara untuk kasus, nol dan alternatif. Level adalah fraksi kali kita membuat kesalahan tipe I jika kita (secara independen) mengulangi tes. Dalam kerangka kerja ini benar-benar tidak ada perbedaan formal antara nol dan alternatif. Jika kita menukar nol dan alternatif, kita menukar probabilitas kesalahan tipe I dan tipe II. Kami tidak, bagaimanapun, mengontrol probabilitas kesalahan tipe II di atas (tergantung pada seberapa besar efek pengobatan), dan karena asimetri ini, kami mungkin lebih suka mengatakan bahwa kami gagal menolakαhipotesis nol (alih-alih kami menerima hipotesis nol). Jadi kita harus berhati-hati dalam menyimpulkan bahwa hipotesis nol itu benar hanya karena kita tidak dapat menolaknya.
ppppp-nilai tidak perlu dibenarkan oleh sejumlah keputusan (imajiner) berulang.
Tidak ada kerangka kerja yang tanpa masalah, dan terminologinya sering membingungkan. Saya dapat merekomendasikan buku Bukti statistik: paradigma kemungkinan oleh Richard M. Royall untuk perawatan yang jelas dari berbagai konsep.