Apakah ada * dasar * matematika untuk perdebatan Bayesian vs frequentist?

Dikatakan di Wikipedia bahwa:

matematika [probabilitas] sebagian besar tidak tergantung pada interpretasi probabilitas.

Pertanyaan: Lalu jika kita ingin menjadi matematis benar, seharusnya tidak kita melarang setiap interpretasi probabilitas? Yaitu, apakah Bayesian dan frequentism secara matematis salah?

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov. Jika ini adalah tujuan saya, harus itu mengikuti dari apa yang tertulis di Wikipedia bahwa saya harus menolak baik Bayesianism dan frequentism? Jika konsepnya murni filosofis dan sama sekali tidak matematis, lalu mengapa mereka muncul dalam statistik?

Latar Belakang / Konteks:
Posting blog ini tidak cukup mengatakan hal yang sama, tetapi ia berpendapat bahwa upaya untuk mengklasifikasikan teknik sebagai "Bayesian" atau "frequentist" kontraproduktif dari perspektif pragmatis.

Jika kutipan dari Wikipedia itu benar, maka sepertinya dari sudut pandang filosofis berusaha untuk mengklasifikasikan metode statistik juga kontra-produktif - jika suatu metode secara matematis benar, maka valid untuk menggunakan metode ini ketika asumsi matematika yang mendasarinya tahan, jika tidak, jika tidak benar secara matematis atau jika asumsi tidak berlaku, maka tidak valid untuk menggunakannya.

Di sisi lain, banyak orang tampaknya mengidentifikasi "inferensi Bayesian" dengan teori probabilitas (yaitu aksioma Kolmogorov), meskipun saya tidak yakin mengapa. Beberapa contohnya adalah risalah Jaynes tentang inferensi Bayesian yang disebut "Probabilitas", serta buku James Stone "Bayes 'Rule". Jadi, jika saya menerima klaim ini begitu saja, itu berarti saya harus memilih Bayesianisme.

Namun, buku Casella dan Berger tampaknya seperti sering digunakan karena membahas penduga kemungkinan maksimum tetapi mengabaikan penduga posteriori maksimum, tetapi juga sepertinya semua yang ada di dalamnya benar secara matematis.

Jadi bukankah itu berarti bahwa satu-satunya versi statistik yang benar secara matematis adalah yang menolak untuk menjadi apa pun kecuali sepenuhnya agnostik sehubungan dengan Bayesianisme dan frekuensi? Jika metode dengan kedua klasifikasi secara matematis benar, maka bukankah praktik yang tidak tepat untuk lebih memilih beberapa daripada yang lain, karena itu akan memprioritaskan filosofi yang kabur, tidak terdefinisi dengan baik daripada matematika yang tepat dan terdefinisi dengan baik?

Ringkasan: Singkatnya, saya tidak mengerti apa dasar matematika untuk debat Bayesian versus frequentist, dan jika tidak ada dasar matematika untuk debat (yang diklaim Wikipedia), saya tidak mengerti mengapa hal itu ditoleransi pada semua dalam wacana akademik.

Ruang probabilitas dan aksioma Kolmogorov

Ruang probabilitas secara definisi adalah tripple mana adalah seperangkat hasil, adalah -gebra on himpunan bagian dan adalah ukuran-probabilitas yang memenuhi aksioma Kolmogorov, yaitu adalah fungsi dari hingga sehingga dan untuk memisahkan dalam itu menyatakan bahwa ( Ω , F , P ) Ω F σ Ω P P F [ 0 , 1 ] P ( Ω ) = 1 E 1 , E 2 , $\mathcal{P}$$(\Omega, \mathcal{F}, \mathbb{P} )$$\Omega$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$$\mathbb{P}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\Omega)=1$$E_1, E_2, \dots$ P ( ∪ ∞ j = 1 E j ) = ∑ ∞ j = 1 P ( E j$\mathcal{F}$$P \left( \cup_{j=1}^\infty E_j \right)=\sum_{j=1}^\infty \mathbb{P}(E_j)$.

Dalam ruang probabilitas seperti itu, seseorang dapat, untuk dua peristiwa dalam mendefinisikan probabilitas bersyarat sebagaiF P ( E 1 | E 2 ) d e f = P ( E 1 ∩ E 2$E_1, E_2$$\mathcal{F}$$\mathbb{P}(E_1|_{E_2})\stackrel{def}{=}\frac{\mathbb{P}(E_1 \cap E_2)}{\mathbb{P}(E_2)}$

Perhatikan bahwa:

1. '' probabilitas kondisional '' ini hanya ditentukan ketika didefinisikan pada , jadi kita membutuhkan ruang probabilitas untuk dapat mendefinisikan probabilitas kondisional.$\mathbb{P}$$\mathcal{F}$
2. Sebuah ruang probabilitas didefinisikan dalam istilah yang sangat umum ( a set , sebuah -algebra dan sebuah probabilitas mengukur ), satu-satunya persyaratan adalah bahwa sifat-sifat tertentu harus dipenuhi tapi selain itu ketiga elemen ini bisa 'apa saja'.σ F $\Omega$ $\sigma$$\mathcal{F}$$\mathbb{P}$

Detail lebih lanjut dapat ditemukan di tautan ini

Aturan Bayes berlaku di ruang probabilitas (valid) apa pun

Dari definisi probabilitas bersyarat itu juga menyatakan bahwa . Dan dari dua persamaan terakhir kita menemukan aturan Bayes. Jadi, aturan Bayes berlaku (dengan definisi probabilitas bersyarat) dalam ruang probabilitas apa pun (untuk menunjukkannya, diperoleh dan dari setiap persamaan dan menyamakan mereka (mereka sama karena persimpangan adalah komutatif)). P(E1∩E2)P(E2∩E1$\mathbb{P}(E_2|_{E_1})=\frac{\mathbb{P}(E_2 \cap E_1)}{\mathbb{P}(E_1)}$$\mathbb{P}(E_1 \cap E_2)$$\mathbb{P}(E_2 \cap E_1)$

Karena aturan Bayes adalah dasar untuk inferensi Bayesian, seseorang dapat melakukan analisis Bayesian dalam ruang probabilitas apa pun yang valid (yaitu memenuhi semua kondisi, aksioma Kolmogorov).

Definisi probabilitas yang sering dilakukan adalah '' kasus khusus ''

Di atas berlaku '' secara umum '', yaitu kita tidak memiliki spesifik , , dalam pikiran selama adalah -gebra pada subset dari dan memenuhi aksioma Kolmogorov.F P F σ Ω $\Omega$$\mathcal{F}$$\mathbb{P}$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$

Kami sekarang akan menunjukkan bahwa definisi ' mathist' '' 'yang sering' memenuhi aksioma Kolomogorov. Jika demikian, maka probabilitas 'sering' hanya merupakan kasus khusus dari probabilitas umum dan abstrak Kolmogorov. $\mathbb{P}$

Mari kita ambil contoh dan melempar dadu. Maka himpunan semua hasil yang mungkin adalah . Kita juga memerlukan aljabar pada set ini dan kita mengambil set semua himpunan bagian dari , yaitu .Ω = { 1 , 2 , 3 , 4 , 5 , 6 } σ Ω F Ω F = 2 $\Omega$$\Omega=\{1,2,3,4,5,6\}$$\sigma$$\Omega$$\mathcal{F}$$\Omega$$\mathcal{F}=2^\Omega$

Kita masih harus mendefinisikan ukuran probabilitas secara berkala. Karena itu kami mendefinisikan sebagai mana adalah jumlah diperoleh dalam gulungan dadu. Mirip dengan , ... .$\mathbb{P}$$\mathbb{P}(\{1\})$ n11nP({2})P({6}$\mathbb{P}(\{1\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1}{n}$$n_1$$1$$n$$\mathbb{P}(\{2\})$$\mathbb{P}(\{6\})$

Dengan cara ini didefinisikan untuk semua lajang di . Untuk set lain dalam , misal kita mendefinisikan dengan cara yang sering digunakan yaitu , tetapi dengan linearitas dari 'lim', ini sama dengan , yang menyiratkan bahwa aksioma Kolmogorov berlaku.F F { 1 , 2 } P ( { 1 , 2 } ) P ( { 1 , 2 } ) d e f = lim n → + ∞ n 1 + n $\mathbb{P}$$\mathcal{F}$$\mathcal{F}$$\{1,2\}$$\mathbb{P}(\{1,2\})$ P({1})+P({2}$\mathbb{P}(\{1,2\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1+n_2}{n}$$\mathbb{P}(\{1\})+\mathbb{P}(\{2\})$

Jadi definisi probabilitas yang kerapkali hanyalah kasus khusus dari definisi umum dan abstrak Kolomogorov tentang ukuran probabilitas.

Perhatikan bahwa ada cara lain untuk mendefinisikan ukuran probabilitas yang memenuhi aksioma Kolmogorov, sehingga definisi frequentist bukanlah satu-satunya yang mungkin.

Kesimpulan

Peluang dalam sistem aksiomatik Kolmogorov adalah '' abstrak '', tidak memiliki arti nyata, hanya harus memenuhi kondisi yang disebut '' aksioma ''. Dengan hanya menggunakan aksioma-aksioma ini, Kolmogorov dapat memperoleh satu set teorema yang sangat kaya.

Definisi frequentist tentang probabilitas memenuhi aksioma dan oleh karena itu menggantikan abstrak, '' tidak berarti '' dengan probabilitas yang didefinisikan dengan cara frequentist, semua teorema ini valid karena '' probabilitas frequentist '' hanya khusus kasus probabilitas abstrak Kolmogorov (yaitu memenuhi aksioma).$\mathbb{P}$

Salah satu properti yang dapat diturunkan dalam kerangka kerja umum Kolmogorov adalah aturan Bayes. Seperti yang berlaku dalam kerangka umum dan abstrak, itu juga akan berlaku (cfr supra) dalam kasus khusus bahwa probabilitas didefinisikan dengan cara yang sering (karena definisi sering yang memenuhi aksioma dan aksioma ini adalah satu-satunya hal yang diperlukan untuk turunkan semua teorema). Jadi orang dapat melakukan analisis Bayesian dengan definisi probabilitas yang sering.

Mendefinisikan dengan cara yang sering bukan satu-satunya kemungkinan, ada cara lain untuk mendefinisikannya sehingga memenuhi aksioma abstrak Kolmogorov. Aturan Bayes juga akan berlaku dalam "kasus khusus" ini. Jadi kita juga dapat melakukan analisis Bayesian dengan definisi probabilitas non- frquentist.$\mathbb{P}$

EDIT 23/8/2016

@mpiktas bereaksi terhadap komentar Anda:

Seperti yang saya katakan, himpunan dan ukuran probabilitas tidak memiliki arti tertentu dalam sistem aksiomatik, mereka abstrak. $\Omega, \mathcal{F}$$\mathbb{P}$

Dalam rangka menerapkan teori ini Anda harus memberikan lebih definisi (jadi apa yang Anda katakan dalam komentar Anda "tidak perlu kekisruhan lebih lanjut dengan beberapa definisi aneh '' adalah salah, Anda perlu definisi tambahan ).

Mari kita terapkan pada kasus melempar koin yang adil. Himpunan dalam teori Kolmogorov tidak memiliki makna tertentu, ia hanya harus menjadi 'himpunan'. Jadi kita harus menentukan apa set ini jika koin adil, yaitu kita harus mendefinisikan set . Jika kami mewakili kepala dengan H dan ekor seperti T, maka set adalah dengan definisi .$\Omega$$\Omega$$\Omega$ $\Omega\stackrel{def}{=}\{H,T\}$

Kita juga harus mendefinisikan peristiwa, yaitu -algebra . Kami mendefinisikan sebagai . Sangat mudah untuk memverifikasi bahwa adalah -algebra.$\sigma$$\mathcal{F}$$\mathcal{F} \stackrel{def}{=} \{\emptyset, \{H\},\{T\},\{H,T\} \}$$\mathcal{F}$$\sigma$

Selanjutnya kita harus mendefinisikan untuk setiap peristiwa dalam ukurannya. Jadi kita perlu mendefinisikan peta dari di . Saya akan mendefinisikannya dengan cara yang sering, untuk koin yang adil, jika saya melemparnya berkali-kali, maka fraksi kepala akan menjadi 0,5, jadi saya mendefinisikan . Demikian pula saya mendefinisikan , dan . Perhatikan bahwa adalah peta dari dalam dan itu memenuhi aksioma Kolmogorov.$E \in \mathcal{F}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\{H\})\stackrel{def}{=}0.5$$\mathbb{P}(\{T\})\stackrel{def}{=}0.5$$\mathbb{P}(\{H,T\})\stackrel{def}{=}1$$\mathbb{P}(\emptyset)\stackrel{def}{=}0$$\mathbb{P}$$\mathcal{F}$$[0,1]$

Untuk referensi dengan definisi probabilitas yang sering, lihat tautan ini (di akhir bagian 'definisi') dan tautan ini .

Statistik bukan Matematika

Pertama, saya mencuri kata-kata @ whuber dari komentar di Stats bukan matematika? (diterapkan dalam konteks yang berbeda, jadi saya mencuri kata-kata, tidak mengutip):

Jika Anda mengganti "statistik" dengan "kimia," "ekonomi," "teknik," atau bidang lain apa pun yang menggunakan matematika (seperti ekonomi rumah), tampaknya tidak ada argumen Anda yang akan berubah.

Semua bidang ini diizinkan ada dan memiliki pertanyaan yang tidak diselesaikan hanya dengan memeriksa teorema mana yang benar. Meskipun beberapa jawaban di Stats bukan matematika? tidak setuju, saya pikir jelas bahwa statistik bukanlah matematika (murni). Jika Anda ingin melakukan teori probabilitas, cabang matematika (murni), Anda memang dapat mengabaikan semua perdebatan seperti yang Anda tanyakan. Jika Anda ingin menerapkan teori probabilitas ke dalam pemodelan beberapa pertanyaan di dunia nyata, Anda membutuhkan sesuatu yang lebih untuk membimbing Anda daripada hanya aksioma dan teorema kerangka matematika. Sisa dari jawabannya adalah bertele-tele tentang hal ini

Klaim "jika kita ingin benar secara matematis, tidakkah kita seharusnya melarang interpretasi probabilitas" juga tampaknya tidak dapat dibenarkan. Menempatkan interpretasi di atas kerangka matematika tidak membuat matematika salah (selama interpretasi tidak diklaim sebagai teorema dalam kerangka matematika).

Perdebatan tidak (terutama) tentang aksioma

Meskipun ada beberapa aksioma alternatif *, perdebatan (?) Bukanlah tentang memperdebatkan aksioma Kolmogorov. Mengabaikan beberapa seluk-beluk dengan peristiwa pengkondisian nol-pengukuran, yang mengarah ke probabilitas kondisional dll, tentang yang saya tidak cukup tahu, aksioma Kolmogorov dan probabilitas kondisional menyiratkan aturan Bayes, yang tidak ada yang membantah. Namun, jika bahkan bukan variabel acak dalam model Anda (model dalam arti pengaturan matematika yang terdiri dari ruang probabilitas atau keluarga mereka, variabel acak, dll.), Tentu saja tidak mungkin untuk menghitung kondisi bersyarat. distribusi . Tidak seorang pun juga membantah bahwa frekuensi properti, jika dihitung dengan benar, adalah konsekuensi dari model. Sebagai contoh, distribusi bersyaratP ( X ∣ Y ) p ( y ∣ θ ) p ( y ; θ ) p ( y ∣ θ ) = p ( y ; θ ) θ $X$$P(X\mid Y)$$p(y\mid \theta)$dalam model Bayesian, tentukan keluarga yang diindeks dari distribusi probabilitas dengan hanya membiarkan dan jika beberapa hasil berlaku untuk semua di yang terakhir, mereka memegang semua di bekas, juga.$p(y; \theta)$$p(y \mid \theta) = p(y; \theta)$$\theta$$\theta$

Perdebatan tentang bagaimana menerapkan matematika

Perdebatan (sebanyak yang ada **), sebaliknya tentang bagaimana memutuskan model probabilitas seperti apa yang akan diatur untuk masalah (kehidupan nyata, non-matematis) dan implikasi model mana yang relevan untuk menggambar (nyata -life) kesimpulan. Tetapi pertanyaan-pertanyaan ini akan ada bahkan jika semua ahli statistik setuju. Mengutip dari pos blog yang Anda tautkan [1], kami ingin menjawab pertanyaan seperti

Bagaimana saya harus mendesain roulette sehingga kasino saya menghasilkan $? Apakah pupuk ini meningkatkan hasil panen? Apakah streptomisin menyembuhkan tuberkulosis paru? Apakah merokok menyebabkan kanker? Film apa yang akan dinikmati pengguna ini? Pemain bisbol mana yang harus dikontrak oleh Red Sox? Haruskah pasien ini menerima kemoterapi?

Aksioma teori probabilitas bahkan tidak mengandung definisi baseball, jadi jelas bahwa "Red Sox harus memberikan kontrak kepada pemain baseball X" bukanlah teorema dalam teori probabilitas.

Catatan tentang pembenaran matematis dari pendekatan Bayesian

Ada 'pembenaran matematis' untuk mempertimbangkan semua yang tidak diketahui sebagai probabilistik seperti teorema Cox yang dirujuk oleh Jaynes, (meskipun saya mendengarnya memiliki masalah matematika, yang mungkin atau belum diperbaiki, saya tidak tahu, lihat [2] dan referensi di dalamnya) atau pendekatan Savage (subyektif Bayesian) (Saya pernah mendengar ini di [3] tetapi belum pernah membaca buku) yang membuktikan bahwa berdasarkan asumsi tertentu, pembuat keputusan yang rasional akan memiliki distribusi probabilitas atas negara. dunia dan pilih aksinya berdasarkan pada memaksimalkan nilai yang diharapkan dari fungsi utilitas. Namun, apakah manajer Red Sox harus menerima asumsi, atau apakah kita harus menerima teori bahwa merokok menyebabkan kanker, tidak dapat disimpulkan dari kerangka matematika apa pun,

Catatan kaki

* Saya belum mempelajarinya, tetapi saya pernah mendengar de Finetti memiliki pendekatan di mana probabilitas bersyarat adalah primitif daripada diperoleh dari ukuran (tanpa syarat) dengan mengkondisikan. [4] menyebutkan sebuah debat antara (Bayesians) José Bernardo, Dennis Lindley dan Bruno de Finetti di sebuah restoran Prancis yang nyaman tentang apakah sensitivitas diperlukan.$\sigma$

** seperti yang disebutkan dalam posting blog yang Anda tautkan ke [1], mungkin tidak ada perdebatan yang jelas dengan setiap ahli statistik yang tergabung dalam satu tim dan membenci tim lainnya. Saya telah mendengar bahwa kita semua pragmatis saat ini dan perdebatan yang tidak berguna telah berakhir. Namun, dalam pengalaman saya perbedaan-perbedaan ini ada, misalnya, apakah pendekatan pertama seseorang adalah memodelkan semua yang tidak diketahui sebagai variabel acak atau tidak dan seberapa tertarik seseorang dalam jaminan frekuensi.

Referensi

[1] Simply Statistics, sebuah blog statistik oleh Rafa Irizarry, Roger Peng, dan Jeff Leek, "Saya mendeklarasikan perdebatan Bayesian vs. Frequentist mengenai ilmuwan data", 13 Okt 2014, http://simplystatistics.org/2014/10 / 13 / as-an-statistician-diterapkan-i-find-the-frequentist-versus-bayesians-debat-sama sekali tidak penting /

[2] Dupré, MJ, & Tipler, FJ (2009). Aksioma baru untuk probabilitas Bayesian yang ketat. Analisis Bayesian, 4 (3), 599-606. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Savage, LJ (1972). Dasar-dasar statistik. Perusahaan Kurir.

[4] Bernardo, JM The Valencia Story - Beberapa perincian tentang asal dan perkembangan Pertemuan Internasional Valencia tentang Bayesian Statistics. http://www.uv.es/bernardo/ValenciaStory.pdf

Dasar matematika untuk debat Bayesian vs frequentist sangat sederhana. Dalam statistik Bayesian, parameter yang tidak diketahui diperlakukan sebagai variabel acak; dalam statistik frequentist diperlakukan sebagai elemen tetap. Karena variabel acak adalah objek matematika yang jauh lebih rumit daripada elemen sederhana dari himpunan, perbedaan matematika cukup jelas.

Namun, ternyata hasil aktual dalam hal model bisa sangat mirip. Ambil contoh regresi linier. Regresi linear Bayesian dengan prior uninformative mengarah ke distribusi estimasi parameter regresi, yang rata-rata sama dengan estimasi parameter regresi linier frequentist, yang merupakan solusi untuk masalah kuadrat terkecil, yang bahkan bukan masalah dari teori probabilitas . Namun demikian, matematika yang digunakan untuk sampai pada solusi yang sama sangat berbeda, untuk alasan yang disebutkan di atas.

Tentu saja karena perbedaan perlakuan terhadap parameter matematis yang tidak diketahui sifatnya (variabel acak vs elemen himpunan) baik statistik Bayesian dan frequentist mengenai kasus-kasus di mana tampaknya lebih menguntungkan menggunakan pendekatan bersaing. Interval kepercayaan adalah contoh utama. Tidak harus bergantung pada MCMC untuk mendapatkan estimasi sederhana adalah hal lain. Namun, ini biasanya lebih merupakan masalah selera dan bukan matematika.

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov.

Bagaimana tepatnya Anda menerapkan aksioma Kolmogorov sendirian tanpa interpretasi? Bagaimana akan Anda menafsirkan probabilitas? Apa yang akan Anda katakan kepada seseorang yang bertanya kepada Anda, "Apa arti estimasi probabilitas ?" $0.5$Apakah Anda akan mengatakan bahwa hasil Anda adalah angka$0.5$, mana yang benar karena mengikuti aksioma? Tanpa interpretasi apa pun, Anda tidak dapat mengatakan bahwa ini menunjukkan seberapa sering kami berharap untuk melihat hasilnya jika kami mengulangi eksperimen kami. Anda juga tidak dapat mengatakan bahwa nomor ini memberi tahu Anda seberapa yakin Anda tentang kemungkinan suatu peristiwa terjadi. Anda juga tidak dapat menjawab bahwa ini memberi tahu Anda seberapa besar kemungkinan Anda meyakini acara tersebut. Bagaimana Anda menginterpretasikan nilai yang diharapkan - karena beberapa angka dikalikan dengan beberapa angka lain dan dijumlahkan bersama yang valid karena mereka mengikuti aksioma dan beberapa teorema lainnya?

Jika Anda ingin menerapkan matematika ke dunia nyata, maka Anda perlu menafsirkannya. Angka-angka saja tanpa interpretasi adalah ... angka. Orang tidak menghitung nilai yang diharapkan untuk memperkirakan nilai yang diharapkan, tetapi untuk belajar sesuatu tentang kenyataan.

Selain itu, probabilitas bersifat abstrak, sementara kami menerapkan statistik (dan probabilitas per se) untuk kejadian di dunia nyata. Ambil contoh paling dasar: koin yang adil. Dalam interpretasi frequentist, jika Anda melempar koin sedemikian banyak kali, Anda akan mengharapkan jumlah kepala dan ekor yang sama. Namun, dalam percobaan kehidupan nyata ini hampir tidak akan pernah terjadi. Jadi probabilitas benar-benar tidak ada hubungannya dengan koin tertentu yang dilemparkan beberapa kali tertentu.$0.5$

Probabilitas tidak ada

- Bruno de Finetti

Pandangan saya tentang perbedaan antara kesimpulan Bayesian dan frequentist adalah bahwa masalah pertama adalah pilihan acara yang Anda inginkan kemungkinannya. Frequentists mengasumsikan apa yang Anda coba buktikan (misalnya, hipotesis nol) kemudian menghitung probabilitas mengamati sesuatu yang sudah Anda amati, berdasarkan asumsi itu. Ada analogi yang tepat antara probabilitas arus balik informasi dan sensitivitas serta spesifisitas dalam diagnosis medis, yang telah menyebabkan kesalahpahaman yang sangat besar dan perlu ditebus oleh aturan Bayes untuk mendapatkan kemungkinan maju ("probabilitas pasca-uji"). Bayesians menghitung probabilitas suatu peristiwa, dan probabilitas absolut tidak mungkin untuk dihitung tanpa jangkar (yang sebelumnya). Probabilitas Bayes tentang kebenaran suatu pernyataan jauh berbeda dari probabilitas seringnya mengamati data berdasarkan asumsi tertentu yang tidak diketahui. Perbedaan lebih jelas ketika frequentist harus menyesuaikan untuk analisis lain yang telah dilakukan atau bisa dilakukan (multiplisitas; pengujian sekuensial, dll.).

Jadi diskusi tentang dasar matematika sangat menarik dan merupakan diskusi yang sangat tepat untuk dimiliki. Tetapi kita harus membuat pilihan mendasar probabilitas ke depan vs ke belakang. Oleh karena itu apa yang dikondisikan, yang bukan matematika, sangat penting. Bayesians percaya bahwa pengondisian penuh pada apa yang sudah Anda ketahui adalah kuncinya. Para frekuensi sering lebih sering mengkondisikan pada apa yang membuat matematika sederhana.

Saya akan memecah ini menjadi dua pertanyaan terpisah dan menjawab masing-masing.

1.) Dengan pandangan filosofis yang berbeda tentang apa arti probabilitas dalam perspektif Frequentist dan Bayesian, adakah aturan matematika probabilitas yang berlaku untuk satu interpretasi dan tidak berlaku untuk yang lain?

Tidak. Aturan probabilitas tetap sama persis antara kedua kelompok.

2.) Apakah Bayesians dan Frequentists menggunakan model matematika yang sama untuk menganalisis data?

Secara umum, tidak. Ini karena dua interpretasi yang berbeda menunjukkan bahwa seorang peneliti dapat memperoleh wawasan dari sumber yang berbeda. Secara khusus, Kerangka Frequentist sering dianggap menyarankan bahwa seseorang dapat membuat inferensi pada parameter yang menarik hanya dari data yang diamati, sementara perspektif Bayesian menyarankan bahwa seseorang juga harus menyertakan pengetahuan ahli independen tentang subjek. Sumber data yang berbeda berarti model matematika yang berbeda akan digunakan untuk analisis.

Juga perlu dicatat bahwa ada banyak perbedaan antara model yang digunakan oleh dua kubu yang lebih terkait dengan apa yang telah dilakukan daripada apa yang bisa dilakukan.harus dilakukan (yaitu banyak model yang secara tradisional digunakan oleh satu kubu dapat dibenarkan oleh kubu lainnya). Sebagai contoh, model BUG (Bayesian inference Using Gibbs sampling, nama yang tidak lagi secara akurat menggambarkan set model karena berbagai alasan) secara tradisional dianalisis dengan metode Bayesian, sebagian besar karena ketersediaan paket perangkat lunak yang hebat untuk melakukan hal ini dengan (JAGs, Stan misalnya). Namun, tidak ada yang mengatakan model ini harus benar-benar Bayesian. Bahkan, saya bekerja pada proyek NIMBLE yang membangun model-model ini dalam kerangka BUGs, tetapi memungkinkan pengguna lebih banyak kebebasan tentang bagaimana membuat kesimpulan pada mereka. Sementara sebagian besar alat yang kami sediakan adalah metode MCMC Bayesian yang dapat disesuaikan, orang juga dapat menggunakan estimasi kemungkinan maksimum, metode Frequentist tradisional, untuk model ini juga. Demikian pula, prior sering dianggap sebagai apa yang dapat Anda lakukan dengan Bayesian yang tidak dapat Anda lakukan dengan model Frequentist. Namun, estimasi penalti dapat menyediakan model yang sama menggunakan estimasi parameter regularisasi (meskipun kerangka kerja Bayesian memberikan cara yang lebih mudah untuk membenarkan dan memilih parameter regularisasi, sementara Frequentists dibiarkan dengan, dalam skenario kasus terbaik dari banyak data, "kami memilih parameter regularisasi ini karena lebih banyak sampel yang divalidasi silang, mereka menurunkan perkiraan kesalahan sampel "... untuk lebih baik atau lebih buruk).

Bayesians dan Frequentists berpikir probabilitas mewakili hal-hal yang berbeda. Orang-orang sering berpikir mereka terkait dengan frekuensi dan hanya masuk akal dalam konteks di mana frekuensi dimungkinkan. Bayesians memandang mereka sebagai cara untuk mewakili ketidakpastian. Karena fakta apa pun bisa menjadi tidak pasti, Anda dapat berbicara tentang kemungkinan apa pun.

Konsekuensi matematis adalah bahwa Frequentists berpikir persamaan dasar probabilitas hanya kadang-kadang berlaku, dan Bayesian berpikir mereka selalu berlaku. Jadi mereka melihat persamaan yang sama sebagai benar, tetapi berbeda pada seberapa umum mereka.

Ini memiliki konsekuensi praktis berikut:

(1) Bayesian akan memperoleh metodenya dari persamaan dasar teori probabilitas (yang mana Bayes Theorem hanyalah satu contoh), sementara Frequentists menciptakan satu pendekatan ad-hoc intuitif satu demi satu untuk menyelesaikan setiap masalah.

(2) Ada teorema yang menunjukkan bahwa jika Anda beralasan dari informasi yang tidak lengkap, Anda sebaiknya menggunakan persamaan dasar teori probabilitas secara konsisten, atau Anda akan berada dalam masalah. Banyak orang memiliki keraguan tentang betapa berartinya teorema tersebut, namun inilah yang kita lihat dalam praktiknya.

Sebagai contoh, adalah mungkin bagi dunia nyata yang tidak bersalah mencari 95% Interval Keyakinan untuk sepenuhnya terdiri dari nilai-nilai yang terbukti tidak mungkin (dari info yang sama yang digunakan untuk mendapatkan Interval Keyakinan). Dengan kata lain, metode Frequentist dapat bertentangan dengan logika deduktif sederhana. Metode Bayesian seluruhnya berasal dari persamaan dasar teori probabilitas tidak memiliki masalah ini.

(3) Bayesian lebih umum daripada Frequentist. Karena bisa ada ketidakpastian tentang fakta apa pun, fakta apa pun dapat ditetapkan sebagai probabilitas. Khususnya, jika fakta yang sedang Anda kerjakan terkait dengan frekuensi dunia nyata (baik sebagai sesuatu yang Anda prediksi atau bagian dari data) maka metode Bayesian dapat mempertimbangkan dan menggunakannya seperti halnya akan fakta dunia nyata lainnya.

Konsekuensinya masalah apa pun yang sering dirasakan Metode mereka berlaku untuk orang Bayes juga dapat bekerja secara alami. Namun kebalikannya sering tidak benar kecuali Frequentists menemukan subterfuges untuk menafsirkan probabilitas mereka sebagai "frekuensi" seperti, misalnya, membayangkan banyak alam semesta, atau menciptakan pengulangan hipotetis hingga tak terbatas yang tidak pernah dilakukan dan sering tidak bisa pada prinsipnya .

Pertanyaan: Kalau begitu, jika kita ingin benar secara matematis, tidakkah kita seharusnya melarang interpretasi probabilitas? Yaitu, apakah Bayesian dan frequentism secara matematis salah?

Ya, dan inilah yang dilakukan orang-orang baik dalam bidang Filsafat Ilmu Pengetahuan dan Matematika.

1. Pendekatan filosofis. Wikipedia menyediakan ringkasan interpretasi / definisi probabilitas .

2. Matematikawan tidak aman. Di masa lalu, sekolah Kolmogorovian memiliki monopoli probabilitas: probabilitas didefinisikan sebagai ukuran terbatas yang menetapkan 1 ke seluruh ruang ... Hegemoni ini tidak lagi valid karena ada tren baru pada probabilitas defininig seperti probabilitas Quantum dan Peluang gratis .

Perdebatan bayes / frequentist didasarkan pada berbagai alasan. Jika Anda berbicara tentang dasar matematika, saya kira tidak banyak.

Mereka berdua perlu menerapkan berbagai metode perkiraan untuk masalah yang kompleks. Dua contoh adalah "bootstrap" untuk frequentist dan "mcmc" untuk bayesian.

Mereka berdua datang dengan ritual / prosedur bagaimana menggunakannya. Contoh frequentist adalah "usulkan penduga sesuatu dan evaluasi propertinya di bawah pengambilan sampel berulang" sementara contoh bayesian adalah "hitung distribusi probabilitas untuk apa yang Anda tidak tahu tergantung pada apa yang Anda ketahui". Tidak ada dasar matematika untuk menggunakan probabilitas dengan cara ini.

Debatnya lebih tentang aplikasi, interpretasi, dan kemampuan untuk memecahkan masalah dunia nyata.

Bahkan, ini sering digunakan oleh orang-orang yang memperdebatkan "sisi mereka" di mana mereka akan menggunakan "ritual / prosedur" khusus yang digunakan oleh "pihak lain" untuk menyatakan bahwa keseluruhan teori harus dibuang untuk mereka. Beberapa contoh termasuk ...

• menggunakan priors bodoh (dan tidak memeriksanya)
• menggunakan CI bodoh (dan tidak memeriksanya)
• membingungkan teknik komputasi dengan teori (bayes bukan mcmc !! Hal yang sama berlaku untuk menyamakan validasi silang dengan pembelajaran mesin)
• berbicara tentang masalah dengan aplikasi spesifik dengan satu teori dan bukan bagaimana teori lain akan menyelesaikan masalah spesifik "lebih baik"

Jadi bukankah itu berarti bahwa satu-satunya versi statistik yang benar secara matematis adalah yang menolak untuk menjadi apa pun kecuali sepenuhnya agnostik sehubungan dengan Bayesianisme dan frekuensi? Jika metode dengan kedua klasifikasi secara matematis benar, maka bukankah praktik yang tidak tepat untuk lebih memilih beberapa daripada yang lain, karena itu akan memprioritaskan filosofi yang kabur, tidak terdefinisi dengan baik daripada matematika yang tepat dan terdefinisi dengan baik?

Tidak. Itu tidak mengikuti. Individu yang tidak dapat merasakan emosinya secara biologis tidak mampu membuat keputusan, termasuk keputusan yang tampaknya hanya memiliki satu solusi objektif. Alasannya adalah pengambilan keputusan yang rasional tergantung pada kapasitas emosional kita dan preferensi kita baik secara kognitif maupun emosional. Walaupun itu menakutkan, itu adalah realitas empiris.

Gupta R, Koscik TR, Bechara A, Tranel D. Amygdala dan pengambilan keputusan. Neuropsikologia. 2011; 49 (4): 760-766. doi: 10.1016 / j.neuropsychologia.2010.09.029.

Seseorang yang lebih suka apel daripada jeruk tidak dapat mempertahankannya karena ini adalah preferensi. Sebaliknya, seseorang yang lebih suka jeruk daripada apel tidak dapat mempertahankan ini secara rasional karena itu adalah preferensi. Orang yang lebih suka apel akan sering makan jeruk karena biaya apel terlalu besar dibandingkan dengan biaya jeruk.

Sebagian besar perdebatan Bayesian dan Frequentist, serta debat Likelihoodist dan Frequentist, berpusat pada kesalahan pemahaman. Meskipun demikian, jika kita membayangkan bahwa kita memiliki seseorang yang terlatih dengan baik dalam semua metode, termasuk metode kecil atau tidak lagi digunakan seperti probabilitas Carnapian atau statistik fidusia, maka hanya rasional bagi mereka untuk lebih memilih beberapa alat daripada alat lain.

Rasionalitas hanya tergantung pada preferensi; perilaku tergantung pada preferensi dan biaya.

Mungkin dari sudut pandang matematika murni bahwa satu alat lebih baik daripada yang lain, di mana lebih baik didefinisikan menggunakan beberapa biaya atau fungsi utilitas, tetapi kecuali ada jawaban unik di mana hanya satu alat yang bisa bekerja, maka baik biaya maupun preferensi harus ditimbang.

Pertimbangkan masalah bandar judi yang mempertimbangkan menawarkan taruhan yang kompleks. Jelas, bandar harus menggunakan metode Bayesian dalam kasus ini karena mereka koheren dan memiliki sifat bagus lainnya, tetapi juga membayangkan bahwa bandar memiliki kalkulator saja dan bahkan tidak pensil dan kertas. Mungkin inilah bandarnya, dengan menggunakan kalkulatornya dan dengan melacak hal-hal di kepalanya dapat menghitung solusi Frequentist dan tidak memiliki kesempatan di Bumi untuk menghitung Bayesian. Jika ia bersedia mengambil risiko menjadi "Dutch Booked," dan juga menemukan potensi biaya yang cukup kecil, maka wajar baginya untuk menawarkan taruhan menggunakan metode Frequentist.

Hal ini rasional untuk Anda untuk menjadi agnostik karena preferensi emosional Anda menemukan bahwa untuk menjadi lebih baik untuk Anda. Tidaklah rasional jika bidang ini menjadi agnostik kecuali jika Anda percaya bahwa semua orang berbagi preferensi emosional dan kognitif Anda, yang kami tahu bukan itu masalahnya.

Singkatnya, saya tidak mengerti apa dasar matematika untuk debat Bayesian versus frequentist, dan jika tidak ada dasar matematika untuk debat (yang diklaim Wikipedia), saya tidak mengerti mengapa hal itu bisa ditoleransi sama sekali di wacana akademik.

Tujuan dari debat akademis adalah untuk menjelaskan ide-ide lama dan baru. Sebagian besar perdebatan Bayesian versus Frequentist dan debat Likelihoodist versus Frequentist berasal dari kesalahpahaman dan kecerobohan pemikiran. Beberapa datang dari kegagalan untuk memanggil preferensi untuk apa mereka. Sebuah diskusi tentang kebajikan seorang penaksir yang tidak bias dan berisik versus dan penaksir yang bias dan akurat adalah diskusi tentang preferensi emosional, tetapi sampai seseorang memilikinya, sangat mungkin bahwa pemikiran tentang hal itu akan tetap berlumpur di seluruh lapangan.

Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif dalam kerangka aksioma Kolmogorov.

Mengapa? Karena Anda lebih suka Kolmogorov daripada Cox, de Finetti atau Savage? Apakah preferensi itu menyelinap masuk? Juga, probabilitas dan statistik bukan matematika, mereka menggunakan matematika. Ini adalah cabang retorika. Untuk memahami mengapa ini penting, pertimbangkan pernyataan Anda:

jika suatu metode secara matematis benar, maka itu sah untuk menggunakan metode ketika asumsi dari matematika yang mendasarinya berlaku, jika tidak, jika secara matematis tidak benar atau jika asumsi tidak berlaku, maka tidak sah untuk menggunakannya.

Ini tidak benar. Ada artikel yang bagus tentang interval kepercayaan dan pelecehan mereka yang dikutip adalah:

Morey, Richard; Hoekstra, Rink; Rouder, Jeffrey; Lee, Michael; Wagenmakers, Eric-Jan, Kesalahan menempatkan kepercayaan dalam interval kepercayaan, Psychonomic Bulletin & Review, 2016, Vol.23 (1), pp.103-123

Jika Anda membaca interval kepercayaan potensial berbeda dalam artikel, masing-masing secara matematis valid, tetapi jika Anda kemudian mengevaluasi propertinya, mereka sangat berbeda secara substansial. Memang, beberapa interval kepercayaan yang diberikan dapat dianggap memiliki sifat "buruk", meskipun mereka memenuhi semua asumsi dalam masalah. Jika Anda menghilangkan interval Bayesian dari daftar dan hanya fokus pada empat interval Frequentist, maka jika Anda melakukan analisis yang lebih dalam tentang kapan intervalnya lebar atau sempit, atau konstan, maka Anda akan menemukan bahwa intervalnya mungkin tidak "sama dengan" "Meskipun masing-masing memenuhi asumsi dan persyaratan.

Tidak cukup hanya valid secara matematis agar bermanfaat atau, sebagai alternatif, berguna. Demikian juga, itu bisa benar secara matematis, tetapi berbahaya. Dalam artikel tersebut, ada interval yang paling sempit tepatnya ketika ada paling sedikit informasi tentang lokasi sebenarnya dan seluas ketika pengetahuan sempurna atau dekat pengetahuan sempurna ada tentang lokasi parameter. Apapun itu, ia memenuhi persyaratan pertanggungan dan memenuhi asumsi.

Matematika tidak pernah cukup.