Apakah orang Bayesians menerima aksioma Kolmogorov?

Biasanya teori probabilitas diajarkan dengan aksioma Kolgomorov. Apakah orang Bayesian juga menerima aksioma Kolmogorov?

probability bayesian kolmogorov-axioms

— Tulisan tangan
sumber

Teori Bayesian mengikuti dari aksioma standar probabilitas, maka dari aksioma Kolmogorov.

— Xi'an

@ Xi'an: Tingkat kepercayaan subyektif itu dapat diwakili oleh probabilitas yang tidak begitu jelas - maka pertanyaannya, & karya Ramsey & de Finetti.

— Scortchi

Itu sebabnya saya seorang Bayesian "objektif" dan mulai dengan distribusi sebelumnya yang didefinisikan sesuai dengan standar teori probabilitas ...

— Xi'an

Saya percaya bahwa interpretasi Cox-Jaynes tentang probabilitas memberikan landasan yang kuat untuk probabilitas Bayesian. (lihat jawaban saya). Namun, alangkah baiknya jika pendapat Xi'an tentang itu.

— KTT

@Summit: terima kasih tetapi saya khawatir saya tidak begitu tertarik dengan masalah ini ...!

— Xi'an

Jawaban:

Menurut pendapat saya, interpretasi Cox-Jaynes tentang probabilitas memberikan landasan yang kuat untuk probabilitas Bayesian:

Cox, Richard T. "Probabilitas, frekuensi, dan harapan yang masuk akal." Jurnal fisika Amerika 14.1 (1946): 1-13.
Jaynes, Edwin T. Teori probabilitas: logika sains. Pers universitas Cambridge, 2003.
Beck, James L. "Identifikasi sistem Bayesian berdasarkan pada logika probabilitas." Kontrol Struktural dan Pemantauan Kesehatan 17.7 (2010): 825-847.

Aksioma probabilitas yang diturunkan oleh Cox adalah:

$\Pr[b|a]\ge0$
(P2): (fungsi negasi) $\Pr[\overline{b}|a]=1-\Pr[b|a]$
(P3): (fungsi konjungsi) $\Pr[b\cap c|a]=\Pr[c|b\cap a]\Pr[b|a]$

Aksioma P1-P3 menyiratkan hal berikut (Beck, James L. "Identifikasi sistem Bayesian berdasarkan logika probabilitas." Kontrol Struktural dan Pemantauan Kesehatan 17.7 (2010): 825-847):

(P4): a) ; b) ; c) $\Pr[b|b\cap c] = 1$ $\Pr[\overline{b}|b\cap c] = 0$ $\Pr[b|c]\in[0,1]$
(P5): a) , b) , di mana berarti terkandung dalam , dan berarti setara dengan . $\Pr[a|c \cap (a \Rightarrow b)]\le\Pr[b|c\cap(a \Rightarrow b)]$ $\Pr[a|c\cap(a \Leftrightarrow b)] = \Pr[b|c\cap(a \Leftrightarrow b)]$ $a \Rightarrow b$ $a$ $c$ $a \Leftrightarrow b$ $a$ $b$
(P6): $\Pr[a \cup b|c] = \Pr[a|c]+\Pr[b|c]-\Pr[a\cap b|c]$
(P7): Dengan asumsi bahwa proposisi menyatakan bahwa satu dan hanya satu dari proposisi benar, maka: b 1 , ... , b N
- a) Teorema Marjinalisasi: $\Pr[a|c]=\sum_{n=1}^N P[a \cap b_n|c]$
- b) Total Teorema Probabilitas: $\Pr[a|c] = \sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]$
- c) Bayes 'Theorem: Untuk : $k=1,\ldots,N$ $\Pr[b_k|a\cap c] = \frac{\Pr[a|b_k\cap c]\Pr[b_k|c]}{\sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]}$

Mereka menyiratkan pernyataan logika Kolmogorov, yang dapat dilihat sebagai kasus khusus.

Dalam penafsiran saya tentang sudut pandang Bayesian, segala sesuatu selalu (secara implisit) dikondisikan pada kepercayaan kita dan pada pengetahuan kita.

Perbandingan berikut diambil dari Beck (2010): Identifikasi sistem Bayesian berdasarkan logika probabilitas

Sudut pandang Bayesian

Probabilitas adalah ukuran dari pernyataan yang masuk akal berdasarkan informasi yang ditentukan.

Distribusi probabilitas mewakili keadaan pengetahuan yang masuk akal tentang sistem dan fenomena, bukan sifat bawaannya.
Probabilitas suatu model adalah ukuran dari kemungkinan masuk akalnya relatif terhadap model lain dalam suatu himpunan.
Secara pragmatis mengkuantifikasi ketidakpastian karena informasi yang hilang tanpa klaim bahwa ini disebabkan oleh keacakan sifat bawaan.

Sudut pandang Frequentist

Probabilitas adalah frekuensi relatif dari kejadian peristiwa yang inheren acak dalam jangka panjang .

Distribusi probabilitas adalah sifat bawaan dari fenomena acak.
Cakupan terbatas, misalnya tidak ada arti untuk probabilitas suatu model.
Keacakan yang melekat diasumsikan, tetapi tidak dapat dibuktikan.

Cara menurunkan aksioma Kolmogorov dari aksioma di atas

Dalam berikut ini, bagian 2.2 dari [Beck, James L. "identifikasi sistem Bayesian berdasarkan logika probabilitas." Kontrol Struktural dan Pemantauan Kesehatan 17.7 (2010): 825-847.] Dirangkum:

Berikut ini kami gunakan: probabilitas mengukur pada subset dari himpunan terbatas : $\Pr(A)$ $A$ $X$

[K1]: $\Pr(A)\ge 0, \forall A \subset X$
[K2]: $\Pr(X) = 1$
[K3]: jika dan terpisah. $\Pr(A\cup B)=\Pr(A)+\Pr(B), \forall A,B \subset X$ $A$ $B$

Untuk mendapatkan (K1-K3) dari aksioma teori probabilitas, [Beck, 2010] memperkenalkan propositon yang menyatakan dan menentukan model probabilitas untuk . [Beck, 2010] selanjutnya memperkenalkan . $\pi$ $x\in X$ $x$ $\Pr(A) = \Pr[x\in A|\pi]$

P1 menyiratkan K1 dengan dan $b=\{x\in A\}$ $c=\pi$
K2 mengikuti dari ; P4 (a), dan menyatakan bahwa . $\Pr[x\in X|\pi]=1$ $\pi$ $x\in X$
K3 dapat diturunkan dari P6: dan adalah disjoint artinya dan saling eksklusif. Oleh karena itu, K3: $A$ $B$ $x\in A$ $x\in B$ $\Pr(x\in A\cup B|\pi)=\Pr(x\in A|\pi)+\Pr(x\in B|\pi)$

— Puncak
sumber

Dari K3 Anda, Anda dapat mencapai

(aditivitas terbatas) tetapi tidak untuk aksioma ke 3 Kolmogorov,

(dihitung aditivitas) ketika

's adalah elemen dari

Pr (\cup_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} Pr (A_{i})

$\Pr(\cup_{i=1}^n A_i)=\sum_{i=1}^n\Pr(A_i)$

Pr (\cup_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} Pr (A_{i})

$\Pr(\cup_{i=1}^\infty A_i)=\sum_{i=1}^\infty\Pr(A_i)$

A

$A$

σ

$\sigma$ -field, & bukan hanya himpunan bagian dari himpunan terbatas.

— Scortchi

@Scortchi KRKoch dalam pengantar Bayesian Statistics mengutip Bernardo and Smith (1994), Bayesian Theory, p. 105, sebagai sumber yang menunjukkan cara mengatasi tak terhingga yang dapat dihitung. Saya belum memeriksanya, tetapi sebagai referensi mungkin juga diberikan di sini.

— gwr

Setelah pengembangan Teori Probabilitas, perlu untuk menunjukkan bahwa konsep yang lebih longgar menjawab nama "probabilitas" yang diukur hingga konsep yang didefinisikan secara ketat yang telah mereka ilhami. Probabilitas Bayesian "Subyektif" dipertimbangkan oleh Ramsey dan de Finetti, yang secara independen menunjukkan bahwa kuantifikasi tingkat kepercayaan tunduk pada kendala keterbandingan & koherensi (keyakinan Anda koheren jika tidak ada yang dapat membuat buku Belanda menentang Anda) harus menjadi sebuah probabilitas.

Perbedaan antara aksioma sebagian besar adalah masalah selera tentang apa yang harus didefinisikan dan apa yang diturunkan. Tetapi aditif yang dapat dihitung adalah salah satu dari Kolmogorov yang tidak berasal dari Cox's atau Finetti's, & telah menjadi kontroversial. Beberapa orang Bayesia (mis. De Finetti & Savage) berhenti pada aditif terbatas & jadi jangan terima semua aksioma Kolmogorov. Mereka dapat menempatkan distribusi probabilitas yang seragam selama interval tanpa batas tanpa ketidakwajaran. Yang lain mengikuti Villegas juga dengan asumsi kesinambungan monoton, & mendapatkan tambahan yang dapat dihitung dari situ.

Ramsey (1926), "Truth and probability", dalam Ramsey (1931), The Foundations of Mathematics and Other Logical Essays

de Finetti (1931), "Sul signifikansi soggettivo della probabilità", Fundamenta Mathematicæ , 17 , hlm 298 - 329

Villegas (1964), "Pada probabilitas kualitatif algebras", Ann. Matematika Statist. , 35 , 4. $\sigma$

— Scortchi - Reinstate Monica
sumber

Mengapa jawaban saya hanya berurusan dengan probabilitas 'obyektif Bayesian'? Karya mani Cox (1946) secara eksplisit membahas masalah subjektivitas! Ini adalah kertas yang sangat menarik - dan mudah dibaca. Saya tidak berpikir bahwa masuk akal untuk membedakan antara probabilitas Bayes 'subyektif' dan 'obyektif': Segala sesuatu selalu secara implisit dikondisikan kepada orang yang melakukan analisis -> dan dalam hal ini 'subjektif'.

— KTT

mengenai derivasi aksioma yang dinyatakan oleh Kolmogorov dari Cox: Saya puas dengan cara itu dilakukan di bagian 2.2 dari Beck, James L. "Identifikasi sistem Bayesian berdasarkan pada logika probabilitas." Kontrol Struktural dan Pemantauan Kesehatan 17.7 (2010): 825-847.

— KTT

@Summit: (1) Anda benar; lebih tepatnya pandangan disposisi Ramsey & de Finetti tentang kemungkinan menempatkan mereka tepat di kubu "subyektif", sedangkan Cox lebih umum berlaku. (2) Apakah Anda mengatakan aditivitas yang dapat dihitung dapat disimpulkan dari postulat Cox?

— Scortchi

Saya menyampaikan jawaban saya, dan menantikan komentar Anda.

— KTT

@Summit: Terima kasih - Saya berharap dapat menemukan waktu untuk membuat milik saya bahkan setengah menyeluruh. Saya telah menunjukkan celah antara di mana Anda bisa mendapatkan dari teorema Cox & aksioma Kolmogorov "penuh" & berpikir itu terutama berkaitan dengan pertanyaan (meskipun saya sudah melupakannya sepenuhnya ketika saya pertama kali menjawab). Jaynes memiliki beberapa hal menarik untuk dikatakan tentang BTW ini.

— Scortchi