Mengapa distribusi posterior dalam Bayesian Inference sering tidak dapat dilakukan?

Saya memiliki masalah dalam memahami mengapa Bayesian Inference mengarah pada masalah yang sulit diselesaikan. Masalahnya sering dijelaskan seperti ini:

Apa yang saya tidak mengerti adalah mengapa integral ini harus dievaluasi di tempat pertama: Tampaknya bagi saya bahwa hasil integral adalah hanya sebuah konstanta normalisasi (seperti dataset D diberikan). Mengapa seseorang tidak bisa begitu saja menghitung distribusi posterior sebagai pembilang dari sisi kanan dan kemudian menyimpulkan konstanta normalisasi ini dengan mensyaratkan bahwa integral dari distribusi posterior harus 1?

Apa yang saya lewatkan?

Terima kasih!

bayesian inference

— Arni
sumber

Kepada siapa pun yang berkepentingan: pertanyaan ini tepat pada topik karena ini tentang statistik.

— Sycorax berkata Reinstate Monica

Kutipan ini ditulis dengan buruk. Sadarilah bahwa adalah tidak distribusi posterior; itu adalah probabilitas tanpa syarat dari data (yaitu, terlepas dari theta). Karena akan sama untuk semua model yang dipertimbangkan untuk dataset yang sama, maka tidak perlu dihitung. Jika tidak, Anda hanya perlu mengubah tanda sama dengan 'proporsional ke' ( ).

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

— gung - Reinstate Monica

Bisakah Anda memberikan referensi slide itu karena saya kira itu ditulis oleh orang lain?

— Xi'an

Persyaratan untuk menghitung hanya benar-benar terjadi ketika membandingkan model (ini kadang-kadang disebut bukti ). Ketika mempertimbangkan model tunggal, pembilang "cukup" untuk menentukan posterior. Namun, jika Anda ingin menghitung estimator titik seperti harapan posterior atau kuantil, Anda dengan cepat menemukan bahwa Anda juga memerlukan penyebutnya.

p (D)

$p(\mathcal{D})$

— Xi'an

Kami saat ini mengadakan lokakarya tentang konstanta normalisasi di mana Anda dapat menemukan entri yang menarik untuk menjawab pertanyaan ini.

— Xi'an

Jawaban:

Mengapa seseorang tidak bisa begitu saja menghitung distribusi posterior sebagai pembilang dari sisi kanan dan kemudian menyimpulkan konstanta normalisasi ini dengan mensyaratkan bahwa integral dari distribusi posterior harus 1?

P (θ | D) = \frac{p (D | θ) P (θ)}{P (D)} .

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

$P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} c P (D | θ) P (θ) d θ = 1 \\ \Rightarrow & \int_{θ} c P (D, θ) d θ = 1 \\ \Rightarrow & c P (D) = 1 \\ \Rightarrow & c = \frac{1}{P (D)} . \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

$P(D)$

— Greenparker
sumber

θ

$\theta$

Saya punya pertanyaan yang sama. Posting yang bagus ini menjelaskan dengan sangat baik.

Pendeknya. Ini tidak bisa diterapkan karena penyebut harus mengevaluasi probabilitas untuk SEMUA nilai yang mungkin dari 𝜃; dalam kebanyakan kasus yang menarik, SEMUA adalah jumlah yang besar. Sedangkan pembilang adalah untuk realisasi tunggal 𝜃.

Lihat Persamaan. 4-8 di pos. Tangkapan layar tautan:

— Arraval
sumber