Ada dua upaya untuk melakukan persis apa yang Anda katakan dalam sejarah statistik, Bayesian dan Fiducial. RA Fisher mendirikan dua sekolah pemikiran statistik, sekolah Likelihoodist dibangun di sekitar metode kemungkinan maksimum dan Fidusia, yang berakhir dengan kegagalan tetapi yang berusaha untuk melakukan apa yang Anda inginkan.
Jawaban singkat mengapa gagal adalah bahwa distribusi probabilitasnya tidak akhirnya berintegrasi ke persatuan. Pelajarannya, pada akhirnya, adalah bahwa probabilitas sebelumnya adalah hal yang diperlukan untuk menciptakan apa yang ingin Anda ciptakan. Memang, Anda akan segera menuju jalan salah satu ahli statistik terhebat dalam sejarah dan lebih dari beberapa hebat lainnya meninggal dengan harapan untuk menyelesaikan masalah ini. Jika ditemukan itu akan menempatkan metode hipotesis nol setara dengan metode Bayes dalam hal jenis masalah yang bisa mereka pecahkan. Memang, itu akan mendorong melewati Bayes kecuali di mana informasi sebelumnya yang nyata ada.
Anda juga ingin berhati-hati dengan pernyataan Anda bahwa nilai-p menunjukkan kemungkinan alternatif yang lebih tinggi. Itu hanya berlaku di sekolah Fisherian Likelihoodist. Sama sekali tidak benar di sekolah Frequentist Pearson-Neyman. Taruhan Anda di bagian bawah tampaknya merupakan taruhan Pearson-Neyman sementara nilai-p Anda tidak kompatibel karena berasal dari sekolah Fisher.
Untuk menjadi amal saya akan berasumsi, bahwa untuk contoh Anda, bahwa tidak ada bias publikasi dan hanya hasil signifikan yang muncul dalam jurnal yang menciptakan tingkat penemuan palsu yang tinggi. Saya memperlakukan ini sebagai sampel acak dari semua penelitian yang dilakukan, terlepas dari hasilnya. Saya berpendapat bahwa peluang taruhan Anda tidak akan koheren dalam arti kata klasik de Finetti.
Di dunia de Finetti, taruhan adalah koheren jika bandarnya tidak bisa dimainkan oleh pemain sehingga mereka menghadapi kerugian yang pasti. Dalam konstruksi yang paling sederhana, itu seperti solusi untuk masalah memotong kue. Satu orang memotong bagian itu menjadi dua, tetapi orang lain memilih bagian mana yang mereka inginkan. Dalam konstruksi ini satu orang akan menyatakan harga untuk taruhan pada setiap hipotesis, tetapi orang lain akan memilih untuk membeli atau menjual taruhan. Intinya, Anda bisa menjual nol. Agar optimal, peluangnya harus benar-benar adil. Nilai-P dilakukan untuk tidak mengarah pada peluang yang adil.
Untuk mengilustrasikan ini, pertimbangkan penelitian oleh Wetzels, dkk di http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf
Kutipan yang adalah: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson dan Eric-Jan Wagenmakers. Bukti Statistik dalam Psikologi Eksperimental: Perbandingan Empiris Menggunakan 855 Uji t. Perspektif tentang Ilmu Psikologis. 6 (3) 291-298. 2011
Ini adalah perbandingan langsung dari 855 uji-t yang diterbitkan menggunakan faktor Bayes untuk mem-bypass masalah distribusi sebelumnya. Dalam 70% dari nilai-p antara 0,05 dan 0,01, faktor Bayes paling baik, anekdotal. Ini disebabkan oleh bentuk matematika yang digunakan oleh Frequentists untuk menyelesaikan masalah.
Metode hipotesis nol mengasumsikan bahwa model itu benar dan dengan konstruksi mereka menggunakan distribusi statistik minimax daripada distribusi probabilitas. Kedua faktor ini memengaruhi perbedaan antara solusi Bayesian dan non-Bayesian. Pertimbangkan sebuah studi di mana metode Bayesian mengevaluasi probabilitas posterior hipotesis sebagai tiga persen. Bayangkan bahwa nilai p kurang dari lima persen. Keduanya benar karena tiga persen kurang dari lima persen. Meskipun demikian, nilai-p bukan probabilitas. Ini hanya menyatakan nilai maksimum yang bisa menjadi probabilitas melihat data, bukan probabilitas aktual suatu hipotesis benar atau salah. Memang, dalam konstruksi nilai-p, Anda tidak dapat membedakan antara efek karena kebetulan dengan nol benar dan nol palsu dengan data yang baik.
Jika Anda melihat studi Wetzel, Anda akan mencatat bahwa sangat jelas bahwa peluang yang tersirat oleh nilai-p tidak cocok dengan peluang yang tersirat oleh ukuran Bayesian. Karena ukuran Bayesian dapat diterima dan koheren, dan non-Bayesian tidak koheren, tidak aman untuk mengasumsikan peta nilai-p dengan probabilitas sebenarnya. Asumsi paksa bahwa nol itu valid memberikan probabilitas jangkauan yang bagus, tetapi tidak menghasilkan probabilitas perjudian yang bagus.
Untuk memahami mengapa, pertimbangkan aksioma pertama Cox bahwa masuk akal suatu hipotesis dapat dideskripsikan dengan bilangan real. Secara implisit, ini berarti bahwa semua hipotesis memiliki bilangan real yang terkait dengan kemungkinannya. Dalam metode hipotesis nol, hanya nol yang memiliki bilangan real yang dikaitkan dengan kemungkinannya. Hipotesis alternatif tidak memiliki pengukuran yang dilakukan dan tentu saja tidak melengkapi probabilitas untuk mengamati data mengingat bahwa nol itu benar. Memang, jika nol itu benar, maka komplemen itu salah dengan asumsi tanpa memperhatikan data.
Jika Anda membangun probabilitas menggunakan nilai-p sebagai dasar pengukuran Anda, maka Bayesian menggunakan pengukuran Bayesian akan selalu mampu mendapatkan keuntungan atas Anda. Jika Bayesian mengatur peluang maka teori keputusan Pearson dan Neyman akan memberikan pernyataan bertaruh atau tidak bertaruh, tetapi mereka tidak akan dapat menentukan jumlah yang akan dipertaruhkan. Karena peluang Bayesian adil, keuntungan yang diharapkan dari menggunakan metode Pearson dan Neyman adalah nol.
Memang, studi Wetzel benar-benar apa yang Anda bicarakan, tetapi dengan 145 taruhan lebih sedikit. Jika Anda melihat tabel tiga, Anda akan melihat beberapa studi di mana Frequentist menolak nol, tetapi Bayesian menemukan bahwa probabilitas lebih menyukai nol.