Mengapa tidak menggunakan teorema Bayes dalam bentuk ?

Ada banyak pertanyaan (seperti ini ) tentang beberapa ambiguitas dengan formula Bayes dalam kasus berkelanjutan.

p (θ | x) = \frac{p (x | θ) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)}$

Sering kali, kebingungan timbul dari kenyataan bahwa definisi distribusi bersyarat dijelaskan sebagai menjadi fungsi diberikan tetap . $f(variable | parameter)$ $f$ $variable$ $parameter$

Bersamaan dengan itu, ada prinsip kesetaraan yang menyatakan bahwa kemungkinan dapat ditulis sebagai:

L (θ | x) = p (x | θ)

$L(\theta | x) = p(x | \theta)$

Jadi mengapa tidak menggunakan aturan Bayes untuk distribusi dalam bentuk berikut:

p (θ | x) = \frac{L (θ | x) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)}$

untuk menekankan bahwa kita berhadapan dengan fungsi diberikan data yang diamati , dan bahwa masing-masing istilah kemungkinan (setidaknya, dimulai dengan )? $\theta$ $x$ $L$

Apakah ini masalah tradisi, atau ada sesuatu yang lebih mendasar dalam praktik ini?

— iot
sumber

Apa arti dari ? Saya tahu ini sebagai suatu kemungkinan. Tetapi dalam kasus berkelanjutan, saya tidak melihat probabilitas apa yang Anda bicarakan.

p (\cdot)

$p(\cdot)$

— Sextus Empiricus

@ MartijnWeterings, fungsi harus menjadi distribusi probabilitas yang valid dalam semua kasus kecuali ketika "kemungkinan" dari bentuk . Apakah saya melewatkan sesuatu?

p (\cdot)

$p(\cdot)$

p (x | θ)

$p(x|\theta)$

— iot

Apa yang Anda maksud dengan distribusi probabilitas? Kumulatif, kepadatan, dll?

— Sextus Empiricus

Mungkin membantu untuk mundur dan menyadari bahwa tidak ada "variabel" dalam teorema Bayes, setidaknya saat Anda menggunakan istilah tersebut. Ada titik data dan ada parameter model. Dalam pengertian ini, . Anda memanggil makhluk yang mirip posterior yang kemudian Anda sebut kemungkinan. Tapi ternyata tidak. Jadi saya tidak yakin ke mana Anda akan pergi dengan ini. Dan secara umum yang tidak masuk akal dalam kasus di mana dan dan bahkan tidak memiliki dukungan yang sama.

P (m o d e l | d a t a) P (d a t a) = P (d a t a, m o d e l) = P (d a t a | m o d e l) P (m o d e l)

$P(model|data)P(data) = P(data,model)=P(data|model)P(model)$

P (m o d e l | d a t a)

$P(model|data)$

p (x | y) = p (y | x) ⟹ p (x) = p (y)

$p(x|y) = p(y|x) \implies p(x)=p(y)$

x = d a t a

$x=data$

y = m o d e l .

$y=model.$

x

$x$

y

$y$

— Peter Leopold

Periksa stats.stackexchange.com/a/224299/35989

— Tim

Jawaban:

Ada dua hasil dasar dari probabilitas yang bekerja dalam teorema Bayes. Salah satunya adalah cara menulis ulang fungsi kepadatan probabilitas gabungan :

p (x, y) = p (x | y) p (y) .

$p(x,\,y)=p(x\,|\,y)p(y).$

Yang lain adalah rumus untuk menghitung fungsi kepadatan probabilitas bersyarat :

p (y | x) = \frac{p (x, y)}{p (x)} .

$p(y\,|\,x)=\frac{p(x,\,y)}{p(x)}.$

Teorema Bayes 'hanya menjahit dua hal ini bersama-sama:

p (θ | x) = \frac{p (x, θ)}{p (x)} = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta\,|\,x)=\frac{p(x,\,\theta)}{p(x)}=\frac{p(x\,|\,\theta)p(\theta)}{p(x)}$

Begitu juga datanya $x$ dan parameternya $\theta$ adalah variabel acak dengan pdf bersama

p (x, θ) = p (x | θ) p (θ),

$p(x,\,\theta)=p(x\,|\,\theta)p(\theta),$ dan itulah yang muncul dalam pembilang dalam teorema Bayes. Jadi, menulis kemungkinan sebagai kepadatan probabilitas bersyarat alih-alih sebagai fungsi

L

$L$ parameter menjelaskan probabilitas dasar yang dimainkan.

Itu semua berkata, Anda akan melihat orang menggunakan, seperti di sini atau di sini .

— jcz
sumber

@ iot Dalam statistik klasik, Anda dapat memperkirakan parameter dengan menemukan

θ

$\theta$ yang memaksimalkan

p (x | θ)

$p(x\,|\,\theta)$ sebagai fungsi dari

θ

$\theta$ . Jadi orang akan menulis

L (θ) = p (x | θ)

$L(\theta)=p(x\,|\,\theta)$ dan coba hitung

{\hat{θ}}_{M L E} = \arg max L (θ)

$\hat{\theta}_{MLE}={\arg\max}\,L(\theta)$ . Dalam hal ini, Anda tidak peduli

p (x | θ)

$p(x\,|\,\theta)$ "Status" sebagai pdf bersyarat berakhir

x

$x$ . Anda peduli tentang statusnya sebagai fungsi bernilai nyata dari

θ

$\theta$ yang ingin Anda maksimalkan sehubungan dengan

θ

$\theta$ . Begitu

L (\cdot)

$L(\cdot)$ Notasi gaya adalah peninggalan dari pengaturan itu.

— jcz

Fungsi kemungkinan hanya sebanding dengan kepadatan sampel, dalam arti yang Anda miliki $L_x(\theta) = k(x) \cdot p(x|\theta)$ untuk beberapa konstan $k(x) > 0$ (meskipun Anda harus mencatat bahwa kemungkinannya adalah fungsi dari parameter, bukan data). Jika Anda ingin menggunakan ini dalam ekspresi Anda untuk teorema Bayes maka Anda harus menyertakan konstanta penskalaan yang sama dalam penyebut:

p (θ | x) = \frac{L_{x} (θ) \cdot p (θ)}{k (x) \cdot p (x)} = \frac{L_{x} (θ) \cdot p (θ)}{\int L_{x} (θ) \cdot p (θ) d θ} \propto L_{x} (θ) \cdot p (θ) .

$p(\theta|x) = \frac{L_x(\theta) \cdot p(\theta)}{k(x) \cdot p(x)} = \frac{L_x(\theta) \cdot p(\theta)}{\int L_x(\theta) \cdot p(\theta) \ d \theta} \propto L_x(\theta) \cdot p(\theta).$

Jika Anda menggunakan rumus yang Anda usulkan, maka Anda akan berakhir dengan kernel dengan kepadatan posterior, tetapi mungkin tidak berintegrasi dengan satu (dan dengan demikian umumnya bukan kepadatan).

— Ben - Pasang kembali Monica
sumber

Saya suka jawaban Anda, tetapi dalam formula asli

p (x | θ)

$p(x|\theta)$ dengan

x

$x$ diperbaiki (konteks Bayesian) tidak juga distribusi probabilitas yang valid , dan

p (x)

$p(x)$ juga merupakan faktor penskalaan yang tidak sama dengan 1. Jadi, mengapa Anda berpikir demikian

k

$k$ bukankah kesatuan dalam penjelasan Anda?

— garej

Cukup sering kami merumuskan fungsi kemungkinan dengan menghapus bagian multiplikasi yang tidak bergantung pada parameter yang diminati. Kami melakukan ini untuk membuat analisis lebih sederhana, dengan menghindari perlunya melacak konstanta integrasi. Misalnya, jika

p (x | θ) = Bin (x | n, θ)

$p(x|\theta) = \text{Bin}(x|n,\theta)$ then we would take

L_{x} (θ) = θ^{x} (1 - θ)^{n - x}

$L_x(\theta) = \theta^x (1-\theta)^{n-x}$ , removing the binomial coefficient in the binomial distribution. In this case we have

k = (\binom{n}{x})

$k = {n \choose x}$ , which is not generally equal to one.

— Ben - Reinstate Monica

so your point is that there is a convention that likelihood is usually free from unnecessary constants and so iot's version could be somewhat misleading for statisticians?

— garej

While that is indeed a conventional way to set the likelihood, the point here is that the likelihood function is generally defined only up to proportionality, so there is no guarantee that

k = 1

$k=1$ in the above working.

— Ben - Reinstate Monica

It is the first time I read that the likelihood is proportional to a density. To me, this is only a stretch and possibly wrong. The problem lies in the overlapping terminology. We should not call a density a likelihood, in the Bayes' rule, but we keep on doing that.

— nbro