Intuisi Teorema Bayes

22

Saya telah mencoba untuk mengembangkan pemahaman berbasis intuisi teorema Bayes dalam hal sebelumnya , posterior , kemungkinan dan probabilitas marjinal . Untuk itu saya menggunakan persamaan berikut:

P (B | SEBUAH) = \frac{P (SEBUAH | B) P (B)}{P (SEBUAH)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$ mana

A

$A$ mewakili hipotesis atau keyakinan dan

B

$B$ mewakili data atau bukti.
Saya telah memahami konsepposterior- itu adalah entitas pemersatu yang menggabungkankeyakinansebelumnyadankemungkinansuatu peristiwa. Apa yang saya tidak mengerti adalah apa yang dimaksud dengankemungkinan? Dan mengapaprobabilitasmarginaldalam penyebut?
Setelah meninjau beberapa sumber saya menemukan kutipan ini:

The kemungkinan adalah berat dari acara $B$ diberikan oleh terjadinya $A$ ... $P(B|A)$ adalah posterior probabilitas acara $B$ , mengingat bahwa acara $A$ telah terjadi.

2 pernyataan di atas tampak identik dengan saya, hanya ditulis dengan cara yang berbeda. Adakah yang bisa menjelaskan perbedaan keduanya?

bayesian likelihood intuition

— Anas Ayubi
sumber

4

Anda memiliki kesalahan ketik (atau kesalahpahaman).

harus menjadi "hipotesis atau kepercayaan", dan

harus menjadi "data atau bukti" dalam formulasi Anda.

B

$B$

A

$A$

— gung - Reinstate Monica

1

lihat jawaban saya di math.stackexchange.com/a/1943255/1505 begitulah akhirnya saya memahaminya secara intuitif

— Lyndon White

27

Meskipun ada empat komponen yang tercantum dalam hukum Bayes, saya lebih suka berpikir dalam hal tiga komponen konseptual:

\underset{2}{\underset{⏟}{P (B | SEBUAH)}} = \underset{3}{\underset{⏟}{\frac{P (SEBUAH | B)}{P (SEBUAH)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

The sebelum adalah apa yang Anda percaya tentang sebelum setelah mengalami sepotong baru dan relevan informasi (yaitu, ). $B$ $A$
The posterior adalah apa yang Anda percaya (atau seharusnya, jika Anda rasional) tentang setelah setelah mengalami sepotong baru dan relevan informasi. $B$
The quotient dari kemungkinan dibagi dengan probabilitas marjinal dari informasi baru indeks informativeness informasi baru untuk keyakinan Anda tentang . $B$

— gung - Reinstate Monica
sumber

19

Sudah ada beberapa jawaban bagus, tetapi mungkin ini dapat menambahkan sesuatu yang baru ...

Saya selalu memikirkan aturan Bayes dalam hal probabilitas komponen, yang dapat dipahami secara geometris dalam hal peristiwa dan seperti yang digambarkan di bawah ini. $A$ $B$

The marjinal probabilitas dan diberikan oleh bidang lingkaran yang sesuai. Semua hasil yang mungkin diwakili oleh , yang sesuai dengan serangkaian acara " atau ". The gabungan probabilitas berkorespondensi ke acara " dan ". $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

Dalam kerangka ini, probabilitas bersyarat dalam teorema Bayes dapat dipahami sebagai rasio daerah. Probabilitas diberikan adalah fraksi ditempati oleh , dinyatakan sebagai $A$ $B$ $B$ $A \cap B$ Demikian pula, probabilitasdiberikanadalah fraksiditempati oleh, yaitu

P (SEBUAH | B) = \frac{P (SEBUAH \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | SEBUAH) = \frac{P (SEBUAH \cap B)}{P (SEBUAH)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

Teorema Bayes sebenarnya hanyalah konsekuensi matematis dari definisi di atas, yang dapat dinyatakan kembali sebagai Saya menemukan simetris ini bentuk teorema Bayes agar lebih mudah diingat. Yaitu, identitas tetap terlepas dari atau mana yang berlabel "prior" vs. "posterior".

P (B | SEBUAH) P (SEBUAH) = P (SEBUAH \cap B) = P (SEBUAH | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Cara lain untuk memahami diskusi di atas diberikan dalam jawaban saya untuk pertanyaan ini , dari sudut pandang yang lebih "spreadsheet akuntansi".)

— GeoMatt22
sumber

9

@ung memiliki jawaban yang bagus. Saya akan menambahkan satu contoh untuk menjelaskan "inisiasi" dalam contoh dunia nyata.

$H$ $A$ $E$ $B$

Jadi rumusnya adalah

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Perhatikan rumus yang sama dapat ditulis sebagai

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
sumber

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Perhatikan bahwa aturan Bayes adalah

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Perhatikan rasionya

\frac{P (b, Sebuah)}{P (b) P (Sebuah)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

Menariknya, log rasio ini juga hadir dalam informasi timbal balik:

saya (SEBUAH | B) = \sum_{Sebuah, b} P_{} (Sebuah, b) catatan \frac{P_{} (b, Sebuah)}{P (b) P (Sebuah)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— pengguna0
sumber

0

$P(A,B)$

likelihood = proporsi baris posterior = proporsi kolom

Sebelumnya dan marginal didefinisikan secara analog, tetapi didasarkan pada "total" alih-alih kolom tertentu

marginal = proporsi total baris sebelum = proporsi total kolom

Saya menemukan ini membantu saya.

— probabilityislogic
sumber