Bagaimana tepatnya orang Bayes mendefinisikan (atau menafsirkan?) Probabilitas?

Bagian dari serangkaian upaya memahami Bayesian vs sering: 1 2 3 4 5 6 7

Saya pikir saya mendapatkan perbedaan tentang bagaimana Bayesian dan frequentist melakukan pendekatan dalam memilih antara hipotesis , tetapi saya tidak yakin apakah atau bagaimana hal itu seharusnya menjelaskan kepada saya bagaimana mereka memandang probabilitas.

Dari apa yang saya mengerti, menurut Wiki , probabilitas "mendefinisikan" yang sering terjadi adalah sebagai berikut:

Ruang probabilitas yang diberikan , , , di mana adalah jumlah percobaan yang dilakukan dan adalah berapa kali A telah terjadi dalam percobaan tersebut.$(\Omega, \mathscr{F}, \mathbb{P})$$\forall A \in \mathscr{F}$$\mathbb{P}(A) \approx \frac{n_A}{n_t}$$n_t$$n_A$

Selanjutnya, .$\mathbb{P}(A) = \lim_{n_t \to \infty} \frac{n_A}{n_t}$

Oke, jadi bagaimana orang Bayes mendefinisikan probabilitas? Di atas tampaknya menjadi salah satu pendekatan untuk menghitung probabilitas suatu peristiwa selain mendefinisikan probabilitas.

Bayesian tampaknya menganggap probabilitas sebelumnya, melakukan beberapa percobaan dan kemudian memperbarui probabilitas mereka, tetapi itu tampaknya tidak benar-benar menjelaskan bagaimana mereka mendefinisikan probabilitas itu.

Wiki mengatakan 'probabilitas Bayesian adalah kuantitas yang kami tetapkan untuk tujuan mewakili keadaan pengetahuan, atau keadaan keyakinan.'

Apa sebenarnya artinya itu? Apakah status identik dengan derajat? Misalnya, kepercayaan Walter bahwa koin tertentu adil diwakili dengan angka 0,1 sementara keyakinan Jesse bahwa koin yang sama adil diwakili dengan angka 0,2. Diberikan informasi baru, keadaan kepercayaan Walter bisa menjadi 0,96 sementara keadaan kepercayaan Jesse bisa menjadi 0,03. Jadi, awalnya, Walter cenderung tidak percaya bahwa koin itu adil, tetapi kemudian Jesse lebih cenderung percaya bahwa koin itu adil?

Saya berharap untuk sesuatu dalam hal simbol seperti yang sering di atas.

Halaman Wiki yang sama mengatakan 'Interpretasi Bayesian tentang probabilitas dapat dilihat sebagai perpanjangan dari logika proposisional yang memungkinkan penalaran dengan hipotesis, yaitu, proposisi yang kebenaran atau kepalsuannya tidak pasti.', Sepertinya probabilitas Bayesian dan frequentist analog dengan fuzzy dan Logika Boolean, masing-masing.

Saya percaya bahwa sebagian besar 'frequentist' dan 'Bayesians' akan dengan tegas mendefinisikan probabilitas dengan cara yang sama: melalui aksioma Kolmogorov dan mengukur teori, modulo beberapa masalah tentang aditif yang terbatas vs yang dapat dihitung , tergantung pada siapa yang Anda ajak bicara. Jadi dalam hal 'simbol' saya rasa Anda mungkin akan menemukan kurang lebih definisi yang sama di seluruh papan. Semua orang sepakat tentang bagaimana probabilitas berperilaku .

Saya akan mengatakan perbedaan utama adalah dalam interpretasi apa probabilitas yang . Interpretasi saya yang disukai (Bay-in-pipi militan) adalah bahwa probabilitas adalah representasi informasi yang koheren tentang peristiwa .

'Koheren' di sini memiliki makna teknis: itu berarti bahwa jika saya mewakili informasi saya tentang dunia dalam hal probabilitas dan kemudian menggunakan probabilitas tersebut untuk mengukur taruhan saya pada kejadian atau tidak terulangnya setiap peristiwa yang diberikan, saya yakin bahwa saya tidak bisa menjadi pecundang pasti oleh agen yang bertaruh melawan saya.

Perhatikan bahwa ini tidak melibatkan gagasan 'frekuensi relatif jangka panjang'; memang, saya dapat dengan jelas mewakili informasi saya tentang peristiwa satu kali - seperti matahari yang meledak besok - melalui bahasa probabilitas. Di sisi lain, tampaknya lebih sulit (atau bisa dibilang kurang alami) untuk berbicara tentang peristiwa "matahari akan meledak besok" dalam hal frekuensi relatif jangka panjang.

Untuk pertanyaan mendalam tentang pertanyaan ini saya akan merujuk Anda ke bab pertama Prinsip Ketidakpastian Jay Kadane yang sangat baik (dan gratis) .

UPDATE : Saya menulis posting blog yang relatif informal yang menggambarkan koherensi.

Seperti yang sudah dicatat oleh orang lain, tidak ada definisi probabilitas Bayesian yang spesifik. Hanya ada satu cara untuk mendefinisikan probabilitas, yaitu bilangan real yang ditetapkan untuk suatu peristiwa dengan ukuran probabilitas, yang mengikuti aksioma probabilitas . Jika ada definisi probabilitas yang berbeda, kami tidak akan dapat menggunakannya secara konsisten, karena orang yang berbeda akan memahami hal-hal yang berbeda di baliknya.

Meskipun hanya ada satu cara kita mendefinisikannya , ada beberapa cara untuk menginterpretasikan probabilitas. Probabilitas adalah konsep matematika , tidak terkait dengan dunia nyata (mengutip de Finetti, "probabilitas tidak ada"). Untuk menerapkannya ke dunia nyata kita perlu menerjemahkan, atau menafsirkan, matematika menjadi kejadian nyata. Ada beberapa cara berbeda untuk menginterpretasikan probabilitas, bahkan interpretasi yang berbeda di antara orang Bayesian (periksa Interpretasi Kemungkinan di Stanford Encyclopedia of Philosophy untuk ulasan). Salah satu yang paling sering dikaitkan dengan statistik Bayesian adalah pandangan subyektivis , juga dikenal sebagai probabilitas personalistik .

Dalam pandangan subyektivis, probabilitas adalah tingkat kepercayaan , atau tingkat konfirmasi . Ini mengukur seberapa banyak seseorang menganggap sesuatu dapat dipercaya. Ini dapat dianalisis, atau diamati, paling jelas dalam hal perilaku taruhan (de Finetti, 1937; lihat juga Savage, 1976; Kemeny, 1955):

Mari kita anggap bahwa seseorang berkewajiban untuk mengevaluasi tingkat di mana ia akan siap untuk menukar kepemilikan jumlah sewenang-wenang (positif atau negatif) tergantung pada kejadian peristiwa diberikan , untuk kepemilikan jumlah ; kita akan mengatakan dengan definisi bahwa angka ini adalah ukuran tingkat probabilitas yang dikaitkan oleh individu yang dianggap sebagai peristiwa , atau, lebih sederhana, bahwa adalah probabilitas (menurut individu yang dipertimbangkan; spesifikasi ini dapat berupa tersirat jika tidak ada ambiguitas).$p$$S$$E$$pS$$p$$E$$p$$E$

Pertaruhan adalah salah satu situasi di mana seseorang perlu mengukur seberapa "mungkin" dia percaya akan sesuatu dan ukuran keyakinan semacam itu jelas merupakan probabilitas. Menerjemahkan keyakinan seperti itu ke angka, paling tidak untuk mengukur keyakinan, yaitu probabilitas.

Bruno de Finetti, salah satu tokoh utama di kalangan subjektivis, memperhatikan bahwa pandangan subyektivis adalah koheren dengan aksioma probabilitas dan perlu mengikuti mereka:

Jika kita mengakui saja, pertama-tama bahwa satu peristiwa yang tidak pasti hanya dapat menampakkan kepada kita (a) kemungkinan yang sama, (b) lebih mungkin, atau (c) lebih kecil kemungkinannya daripada yang lain; kedua bahwa suatu peristiwa yang tidak pasti selalu bagi kita lebih mungkin daripada peristiwa yang tidak mungkin dan kurang mungkin daripada peristiwa yang perlu; dan akhirnya, ketiga bahwa ketika kita menilai suatu peristiwa lebih mungkin daripada peristiwa , yang dengan sendirinya lebih mungkin daripada peristiwa , maka peristiwa hanya dapat tampak lebih mungkin daripada$E'$$E$$E''$$E'$$E''$ (properti transitif), cukup untuk menambahkan di sana tiga aksioma yang tampaknya sepele, yang keempat, itu sendiri murni sifat kualitatif, untuk membangun secara ketat seluruh teori probabilitas. Aksioma keempat memberi tahu kita bahwa ketidaksetaraan dipertahankan dalam jumlah logis: jika tidak sesuai dengan dan dengan , maka akan lebih mungkin atau lebih kecil kemungkinannya daripada , atau mereka akan sama kemungkinannya, menurut di mana pun lebih atau kurang mungkin daripada , atau keduanya sama-sama mungkin. Lebih umum, dapat disimpulkan dari ini bahwa dua ketidaksetaraan, seperti$E$$E_1$$E_2$$E_1 \lor E$$E_2 \lor E$$E_1$$E_2$

$$E_1 \text{ is more probable then } E_2,\\ E_1' \text{ is more probable then } E_2',$$

dapat ditambahkan untuk memberi

$$E_1 \lor E_1' \text{ is more probable then } E_2 \lor E_2'$$

asalkan peristiwa yang ditambahkan tidak kompatibel satu sama lain ( dengan , dengan ).$E_1$$E_1'$$E_2$$E_2'$

Poin serupa dibuat oleh banyak penulis yang berbeda, seperti Kemeny (1955), atau Savage (1972), yang suka de Finetti menarik koneksi antara aksioma dan pandangan subyektivis tentang probabilitas. Mereka juga menunjukkan bahwa ukuran kepercayaan seperti itu harus konsisten dengan aksioma probabilitas (jadi jika itu terlihat seperti probabilitas dan dukun seperti probabilitas ...). Selain itu, Cox (1946) menunjukkan bahwa probabilitas dapat dianggap sebagai perpanjangan dari logika formal yang melampaui biner benar dan salah, memungkinkan untuk ketidakpastian.

Seperti yang Anda lihat, ini tidak ada hubungannya dengan frekuensi. Tentu saja, jika Anda mengamati bahwa perokok nikotin meninggal karena kanker lebih sering daripada bukan perokok, secara rasional Anda akan menganggap kematian seperti itu lebih dapat dipercaya bagi seorang perokok, sehingga interpretasi frekuensi tidak bertentangan dengan pandangan subyektivis. Apa yang membuat interpretasi seperti itu menarik adalah bahwa itu dapat diterapkan juga pada kasus-kasus yang tidak ada hubungannya dengan frekuensi (misalnya probabilitas bahwa Donald Trump memenangkan pemilihan presiden AS 2016, probabilitas bahwa ada bentuk kehidupan cerdas lain di suatu tempat di ruang selain kita dll ). Saat mengadopsi pandangan subjektivis Anda dapat mempertimbangkan kasus-kasus seperti itu dengan cara probabilistik dan membangun model statistik dari skenario semacam itu (lihat contoh perkiraan pemilihan oleh FiveThirtyEight, yang konsisten dengan berpikir tentang probabilitas sebagai mengukur tingkat kepercayaan berdasarkan bukti yang tersedia). Ini membuat interpretasi seperti itu sangat luas (beberapa orang mengatakan, terlalu luas), sehingga kita dapat secara fleksibel mengadaptasi pemikiran probabilistik untuk masalah yang berbeda. Ya, itu subyektif, tetapi de Finetti (1931) memperhatikan bahwa definisi sering didasarkan pada beberapa asumsi yang tidak realistis, itu tidak membuatnya lebih interpretasi "rasional".

de Finetti, B. (1937/1980). La Prévision: Ses Lois Logiques, Ses Sumber Subjektif. [ Pandangan ke depan. Hukum Logikanya, Sumber Subyektifinya. ] Annales de l'Institut Henri Poincaré, 7, 1-68.

Kemeny, J. (1955). Taruhan Adil dan Peluang Induktif. Jurnal Logika Simbolik, 20, 263-273.

Savage, LJ (1972). Dasar-dasar statistik . Dover.

Cox, RT (1946). Probabilitas, frekuensi, dan harapan yang masuk akal. Jurnal fisika Amerika, 14 (1), 1-13.

de Finetti, B. (1931/1989). 'Probabilisme: Esai kritis tentang teori probabilitas dan nilai sains'. Erkenntnis, 31, 169-223.

Saya akan mencoba menjadi luar biasa jelas dengan terminologi saya. Seperti yang Anda lakukan, kami akan fokus pada satu koin, , jadi .$X \sim Bernoulli(p)$$Pr(X=1) = p$

Bayesian dan frequentist keduanya memandang sebagai variabel acak dan mereka berbagi pandangan yang sama tentang distribusi probabilitas . Namun, Bayesian juga menggunakan distribusi probabilitas untuk memodelkan ketidakpastian mereka tentang parameter tetap, dalam hal ini .$X$$Pr(X)$$p$

Jika kita sekarang membiarkan dan mendefinisikan , seperti yang Anda tunjukkan$x_1, x_2, \dots \sim Bernoulli(p)$$h_n = \sum_{i=1}^n x_i$

Ini relevan karena adalah MLE untuk . Namun perhatikan bahwa untuk bilangan positif (bahkan mereka tidak perlu positif):$h_n/n$$p$$a,b$

Satu dari estimator adalah bahwa untuk kecil ini mungkin gila. Contoh paling ekstrem dari ini adalah ketika , estimasi adalah atau . Bagaimana jika kita menetapkan dan menggunakan estimasi kedua. Jika kita mendapatkan pada flip pertama perkiraan kami yang diperbarui adalah , lebih besar dari tetapi tidak ekstrim seperti .$h_n/n$$n$$n = 1$$p$$0$$1$$a=b=5$$1$$6/11$$50\%$$1$

Estimasi yang lebih tertahan ini dapat dengan mudah diperoleh dengan menyatakan ketidakpastian kami tentang dalam bentuk distribusi sebelumnya (dan akhirnya posterior). Jika Anda ingin melihat contoh ini secara mendalam, ini dikenal sebagai Beta-Binomial . Ini melibatkan menempatkan Beta sebelum parameter Distribusi Binomial, dan mengambil harapan posterior yang dihasilkan.$p$