Apa hubungan antara ukuran sampel dan pengaruh prior on posterior?

17

Jika kita memiliki ukuran sampel yang kecil, apakah distribusi sebelumnya akan banyak mempengaruhi distribusi posterior?

bayesian sample-size prior

— toby j
sumber

5

Intuisi jelas: semakin banyak data yang Anda miliki, semakin sedikit Anda harus bergantung pada prior Anda. Bukan hanya pelajaran statistik, tapi pelajaran hidup! ;)

— Lucas Reis

27

Iya. Distribusi posterior untuk parameter , diberikan set data dapat ditulis sebagai $\theta$ ${\bf X}$

p (θ | X) \propto \underset{l i k e l i h o o d}{\underset{⏟}{p (X | θ)}} \cdot \underset{p r i o r}{\underset{⏟}{p (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

atau, seperti yang lebih umum ditampilkan pada skala log,

\log (p (θ | X)) = c + L (θ; X) + \log (p (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

Log-likelihood, , berskala dengan ukuran sampel , karena merupakan fungsi dari data, sedangkan kepadatan sebelumnya tidak. Oleh karena itu, ketika ukuran sampel meningkat, nilai absolut semakin besar sementara tetap tetap (untuk nilai tetap ), dengan demikian jumlah $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ menjadi lebih banyak dipengaruhi oleh ketika ukuran sampel meningkat. $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$

Karena itu, untuk langsung menjawab pertanyaan Anda - distribusi sebelumnya menjadi kurang relevan karena menjadi lebih besar daripada kemungkinannya. Jadi, untuk ukuran sampel yang kecil, distribusi sebelumnya memainkan peran yang jauh lebih besar. Ini setuju dengan intuisi karena, Anda akan berharap bahwa spesifikasi sebelumnya akan memainkan peran yang lebih besar ketika tidak ada banyak data yang tersedia untuk membantahnya sedangkan, jika ukuran sampel sangat besar, sinyal yang ada dalam data akan lebih besar daripada apa pun yang ditentukan Keyakinan dimasukkan ke dalam model.

— Makro
sumber

6

+1 Perhatikan bahwa

juga tergantung pada

.

c

$c$

n

$n$

20

Berikut adalah upaya untuk mengilustrasikan paragraf terakhir dalam jawaban Makro (+1) yang unggul. Ini menunjukkan dua prior untuk parameter dalam distribusi . Untuk beberapa berbeda , distribusi posterior ditunjukkan ketika telah diamati. Seperti tumbuh, baik posteriors menjadi lebih dan lebih terkonsentrasi di sekitar . $p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

Untuk perbedaannya cukup besar, tetapi untuk hampir tidak ada perbedaan. $n=2$ $n=50$

Kedua prior bawah (hitam) dan (merah). Posteriors memiliki warna yang sama dengan priors dari mana mereka berasal. ${\rm Beta(1/2,1/2)}$ ${\rm Beta(2,2)}$

Distribusi posterior

(Perhatikan bahwa untuk banyak model lain dan prior lainnya, tidak akan cukup untuk yang sebelumnya tidak penting!) $n=50$

— MånsT
sumber

4

Ilustrasi yang sangat keren, @ MånsT. Saya menghilangkan huruf miring kata 'Beta' dan 'Binomial' dalam jawaban Anda - Saya harap Anda tidak keberatan.

— Makro

Tentu saja tidak, @ Macro! Saya setuju bahwa ini terlihat lebih baik dengan cara ini.

— MånsT