Jadi, ini mungkin pertanyaan umum, tetapi saya belum pernah menemukan jawaban yang memuaskan.
Bagaimana Anda menentukan probabilitas bahwa hipotesis nol itu benar (atau salah)?
Katakanlah Anda memberi siswa dua versi ujian yang berbeda dan ingin melihat apakah versinya setara. Anda melakukan Uji-t dan memberikan nilai-p 0,02. Nilai p yang bagus! Itu harus berarti tidak mungkin bahwa tes itu setara, kan? Tidak. Sayangnya, tampaknya P (hasil | nol) tidak memberi tahu Anda P (nol | hasil). Hal yang normal untuk dilakukan adalah menolak hipotesis nol ketika kita menemukan nilai-p rendah, tetapi bagaimana kita tahu bahwa kita tidak menolak hipotesis nol yang sangat mungkin benar? Untuk memberikan contoh konyol, saya dapat merancang tes untuk ebola dengan tingkat positif palsu 0,02: memasukkan 50 bola ke dalam ember dan menulis "ebola" pada satu. Jika saya menguji seseorang dengan ini dan mereka memilih bola "ebola", nilai-p (P (mengambil bola | mereka tidak memiliki ebola)) adalah 0,02,
Hal-hal yang saya pertimbangkan sejauh ini:
- Dengan asumsi P (null | hasil) ~ = P (hasil | null) - jelas salah untuk beberapa aplikasi penting.
- Terima atau tolak hipotesis tanpa mengetahui P (null | results) - Mengapa kita menerima atau menolaknya? Bukankah intinya kita menolak apa yang kita anggap LIKELY salah dan menerima apa yang benar?
- Gunakan Bayes 'Theorem - Tapi bagaimana Anda mendapatkan prior Anda? Tidakkah Anda berakhir kembali di tempat yang sama mencoba untuk menentukannya secara eksperimen? Dan memilih mereka apriori tampaknya sangat sewenang-wenang.
- Saya menemukan pertanyaan yang sangat mirip di sini: stats.stackexchange.com/questions/231580/. Satu jawaban di sini tampaknya pada dasarnya mengatakan bahwa tidak masuk akal untuk bertanya tentang kemungkinan hipotesis nol menjadi benar karena itu adalah pertanyaan Bayesian. Mungkin aku orang Bayesian, tapi aku tidak bisa membayangkan tidak mengajukan pertanyaan itu. Bahkan, tampaknya kesalahpahaman paling umum dari nilai-p adalah bahwa mereka adalah probabilitas dari hipotesis nol sejati. Jika Anda benar-benar tidak dapat mengajukan pertanyaan ini sebagai seorang yang sering, maka pertanyaan utama saya adalah # 3: bagaimana Anda mendapatkan prior Anda tanpa terjebak dalam satu lingkaran?
Sunting: Terima kasih atas semua balasan yang bijaksana. Saya ingin membahas beberapa tema umum.
- Definisi probabilitas: Saya yakin ada banyak literatur tentang ini, tetapi konsepsi saya yang naif adalah sesuatu seperti "keyakinan bahwa makhluk yang sangat rasional akan memberikan informasi" atau "peluang taruhan yang akan memaksimalkan keuntungan jika situasi diulang dan tidak dikenal diizinkan bervariasi ".
- Bisakah kita tahu P (H0 | hasil)? Tentu saja, ini sepertinya pertanyaan yang sulit. Saya percaya bahwa setiap probabilitas secara teori dapat diketahui, karena probabilitas selalu tergantung pada informasi yang diberikan. Setiap peristiwa akan terjadi atau tidak terjadi, sehingga kemungkinan tidak ada dengan informasi lengkap. Itu hanya ada ketika ada informasi yang tidak memadai, sehingga harus diketahui. Sebagai contoh, jika saya diberitahu bahwa seseorang memiliki koin dan menanyakan kemungkinan kepala, saya akan mengatakan 50%. Mungkin saja koin itu berbobot 70% ke kepala, tapi saya tidak diberi informasi itu, jadi probabilitasnya 50% untuk info yang saya miliki, sama seperti kebetulan mendarat di ekor, probabilitas itu 70% kepala ketika saya belajar itu. Karena probabilitas selalu tergantung pada serangkaian data (tidak cukup),
Sunting: "Selalu" mungkin sedikit terlalu kuat. Mungkin ada beberapa pertanyaan filosofis yang kita tidak dapat menentukan probabilitas. Namun, dalam situasi dunia nyata, sementara kita "hampir tidak pernah" memiliki kepastian absolut, harus ada "hampir selalu" menjadi perkiraan terbaik.