Bagaimana seseorang menggunakan teorema Bayes dengan prior sebelumnya?

Jika prior saya dimodelkan sebagai distribusi probabilitas kontinu, katakanlah, distribusi beta condong untuk mencerminkan bias saya terhadap model-model tertentu, bagaimana saya bisa menghitung probabilitas posterior?

Tantangan bagi saya adalah menghitung probabilitas model yang diberikan, karena distribusi kontinu hanya akan memberi saya perkiraan untuk interval .

Tolong maafkan kenaifan pertanyaan, Saya baru saja mulai mempelajari statistik Bayesian.

bayesian prior

— Rafa
sumber

Saya kira pertanyaan yang benar adalah "Bagaimana saya bisa menghitung probabilitas model yang diberikan sampel data?" Saya dapat dengan mudah menghitung probabilitas data yang diberikan model, tetapi saya tidak tahu bagaimana memperkirakan probabilitas model. Dan ya, saya tertarik pada perbandingan model.

— Rafa

Untuk membandingkan model, katakan dan jawaban klasik Bayesian adalah (Jeffreys, 1939) untuk menghasilkan faktor Bayes Ketika lebih besar dari data berpihak pada model ; ketika lebih kecil dari , data mendukung model .

M_{1} = {f_{1} (\cdot | θ_{1}); θ_{1} \in Θ_{1}}

$\mathfrak{M}_1=\{f_1(\cdot|\theta_1);\ \theta_1\in\Theta_1\}$

M_{2} = {f_{2} (\cdot | θ_{2}); θ_{2} \in Θ_{2}}

$\mathfrak{M}_2=\{f_2(\cdot|\theta_2);\ \theta_2\in\Theta_2\}$

B_{12} (x) = \frac{\int_{Θ_{1}} f_{1} (x | θ_{1}) π_{1} (d θ_{1})}{\int_{Θ_{2}} f_{2} (x | θ_{2}) π_{2} (d θ_{2})}

$\mathfrak{B}_{12}(x)=\frac{\int_{\Theta_1} f_1(x|\theta_1)\pi_1(\text{d}\theta_1)}{\int_{\Theta_2} f_2(x|\theta_2)\pi_2(\text{d}\theta_2)}$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{1}

$\mathfrak{M}_1$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{2}

$\mathfrak{M}_2$

— Xi'an
sumber

Teorema Bayes adalah:

P (A | B) = \frac{P (B | A) P (A)}{P (B)}

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

Dalam kasus di mana Anda memiliki beberapa data dan parameter, adalah umum untuk menggunakan untuk parameter (atau parameter vektor) dan untuk data. $\theta$ $x$

Anda mungkin menempatkan prior pada , , dan Anda mungkin memiliki model yang memberikan kemungkinan data Anda diberikan model. Anda kemudian dapat menggunakan aturan / teorema Bayes untuk "membalikkan" ini dan mendapatkan . $\theta$ $p(\theta)$ $p(x|\theta)$ $p(\theta|x)$

Hanya dalam satu set contoh yang relatif kecil adalah mungkin untuk mendapatkan solusi form tertutup untuk . Untuk kasus arbitrer, seringkali Anda memperkirakan distribusi posterior menggunakan beberapa metode standar dalam statistik Bayesian - misalnya, dua pendekatan luas yang paling umum adalah rantai markov monte carlo atau variational Bayes. $p(\theta|x)$

Misalkan Anda tertarik pada kasus sederhana di mana posterior bentuk tertutup ada. Contohnya adalah jika adalah standar normal (Gaussian dengan varians unit dan rata-rata nol) dan adalah normal dengan nilai rata-rata dan varians unit. $p(\theta)$ $p(x|\theta)$ $\theta$

Saya akan menghilangkan faktor normalisasi untuk kenyamanan. Juga catat bahwa penyebut dalam aturan Bayes cenderung untuk hanya melakukan renormalisasi hal-hal: Ayo gabungkan eksponen dan lengkapi kotak Ingatlah bahwa x diperbaiki di sini karena telah diamati dan kami berharap jawaban kami akan sesuai dengan itu. Lengkapi kotak dan lihat bahwa eksponen adalah dengan ketentuan lain yang bergantung pada x. Jadi:

p (θ | x) \propto e^{- (x - θ)^{2} / 2} e^{- θ^{2} / 2}

$p(\theta|x) \propto e^{-(x-\theta)^2/2} e^{-\theta^2/2}\\$

- (x - θ)^{2} / 2 - θ^{2} / 2 \propto - (x^{2} - 2 θ x + θ^{2}) - θ^{2}

$-(x-\theta)^2/2 - \theta^2/2 \propto - (x^2 - 2\theta x + \theta^2) - \theta^2$

\propto - (θ - x / 2)^{2}

$\propto -(\theta - x/2)^2$

p (θ | x) \propto e^{- a (θ - x / 2)^{2}}

$p(\theta|x) \propto e^{-a(\theta - x/2)^2}$
di mana 'a' adalah faktor yang bisa diperoleh dengan pembukuan. Perhatikan bahwa posterior adalah distribusi normal dengan nilai rata-rata x / 2. Cobalah menghitung varians untuk Anda sendiri.

Perhatikan bahwa jawaban kami masuk akal secara intuitif ... yang sebelumnya mengatakan bahwa adalah nol dan kami mengamati sampel yang memiliki nilai yang diharapkan dari . Karena varians dari prior dan distribusi besarnya sama, kami mempercayai mereka secara merata. Dengan demikian, posterior kami adalah distribusi dengan rata-rata yang adalah rata-rata dan 0 dan yang akhirnya memiliki varian lebih kecil dari awal atau (tidak ditampilkan di sini). $\theta$ $x$ $\theta$ $p(x|\theta)$ $x$ $p(x|\theta)$ $p(x)$

Untuk perbandingan model, Anda dapat melihat rasio:

\frac{p (x | θ_{1})}{p (x | θ_{2})}

$\frac{p(x|\theta_1)}{p(x|\theta_2)}$

Ini disebut rasio kemungkinan (lihat wikipedia atau di tempat lain). Di sini Anda tidak perlu posterior, Anda hanya melihat bagaimana (relatif) kemungkinan data Anda (atau pengamatan) diberikan baik atau menjadi parameter model yang menghasilkan pengamatan Anda. $\theta_1$ $\theta_2$

Semoga ini membantu.

— Josh
sumber

Maaf jawaban Anda salah. Faktor Bayes tidak didefinisikan seperti ini!

— Xi'an

Untuk perbandingan model, saya menggambarkan rasio kemungkinan. Awalnya saya keliru menggunakan faktor Bayes.

— Josh

Kecuali Anda tidak tahu dan yang menghasilkan pengamatan.

θ_{1}

$\theta_1$

θ_{2}

$\theta_2$

— Xi'an

Hanya dimaksudkan untuk menggambarkan kasus sederhana di mana Anda memiliki dua nilai hipotetis dari parameter model dan Anda ingin membandingkan seberapa baik data mengikuti dari mereka. Setuju bahwa jika Anda memiliki dua bentuk model dan ingin membandingkannya tanpa mengetahui parameter tertentu, jawaban Anda memberikan pendekatan yang benar.

— Josh