"Pelupa" dari hal sebelumnya dalam pengaturan Bayesian?

Hal ini juga diketahui bahwa Anda memiliki lebih banyak bukti (katakan dalam bentuk yang lebih besar untuk contoh iid), yang Bayesian sebelum mendapat "lupa", dan sebagian besar inferensi tersebut dipengaruhi oleh bukti (atau kemungkinan). $n$ $n$

Sangat mudah untuk melihatnya untuk berbagai kasus spesifik (seperti Bernoulli dengan Beta sebelum atau jenis contoh lainnya) - tetapi apakah ada cara untuk melihatnya dalam kasus umum dengan dan beberapa sebelumnya ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

EDIT: Saya menduga itu tidak dapat ditampilkan dalam kasus umum untuk setiap prior (misalnya, titik-massa sebelum akan membuat posterior titik-massa). Tetapi mungkin ada beberapa kondisi tertentu di mana prior dapat dilupakan.

Inilah jenis "jalan" yang saya pikirkan untuk menunjukkan sesuatu seperti itu:

Asumsikan ruang parameter adalah , dan biarkan dan menjadi dua prior yang menempatkan massa probabilitas non-nol pada semua . Jadi, dua perhitungan posterior untuk setiap jumlah sebelum ke: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

dan

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

Jika Anda membagi dengan (posisi), maka Anda mendapatkan: $p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

Sekarang saya ingin menjelajahi istilah di atas saat pergi ke . Idealnya ia akan pergi ke untuk tertentu yang "masuk akal" atau perilaku baik lainnya, tapi saya tidak tahu bagaimana menunjukkan sesuatu di sana. $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
sumber

Untuk beberapa intuisi, catat bahwa kemungkinan berskala dengan ukuran sampel sedangkan yang sebelumnya tidak.

— Makro

@ Macro, terima kasih, saya juga punya intuisi itu, tapi saya tidak bisa mendorongnya lebih jauh. Lihat hasil edit saya di atas.

— bayesianOrFrequentist

Beberapa bab pertama buku teks Ghosh dan Ramamoorthi Bayesian Nonparametrics menyempurnakan hal-hal yang sedang Anda bicarakan (pertama-tama dalam pengaturan parametrik, kemudian yang nonparametrik); ini tersedia melalui Springer online gratis jika Anda berada di institusi yang sesuai. Ada beberapa cara untuk memformalkan kurangnya ketergantungan pada asimtotik sebelumnya, tetapi tentu saja ada beberapa kondisi keteraturan.

— pria

Perhatikan bahwa rasio posterior hanya sebanding dengan rasio sebelumnya, sehingga rasio kemungkinan atau bukti tidak benar-benar memengaruhi ini.

— probabilityislogic

Jawaban:

Hanya jawaban kasar, tapi mudah-mudahan intuitif.

Lihatlah dari sudut pandang ruang-log: mana adalah konstanta yang tergantung pada data, tetapi tidak pada parameter, dan di mana kemungkinan Anda menganggap pengamatan iid. Karenanya, berkonsentrasilah pada bagian yang menentukan bentuk posterior Anda, yaitu
$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
Asumsikan bahwa ada sedemikian rupa sehingga . Ini masuk akal untuk distribusi diskrit. $D>0$ $-\log P(\theta) \leq D$
Karena semua persyaratan positif, "akan" tumbuh (saya melewatkan teknis di sini). Tetapi kontribusi dari sebelumnya dibatasi oleh . Oleh karena itu, fraksi yang dikontribusikan oleh prior, yang paling banyak , berkurang secara monoton dengan setiap pengamatan tambahan. $S_n$ $D$ $D/S_n$

Bukti yang ketat tentu saja harus menghadapi masalah teknis (dan mereka bisa sangat sulit), tetapi pengaturan di atas adalah IMHO bagian yang sangat mendasar.

— Pedro A. Ortega
sumber

Saya agak bingung dengan apa pernyataan "prior is Forgetten" dan "sebagian besar kesimpulan dipengaruhi oleh bukti" yang seharusnya berarti. Saya berasumsi maksud Anda ketika jumlah data meningkat, (urutan) estimator mendekati nilai sebenarnya dari parameter terlepas dari sebelumnya.

Dengan asumsi beberapa kondisi keteraturan pada bentuk distribusi posterior, Bayes Estimator konsisten dan tidak memihak asimtotik (lihat Gelman et al, bab 4 ). Ini berarti ketika ukuran sampel meningkat, penaksir bayes mendekati nilai sebenarnya dari parameter. Konsistensi berarti penaksir bayes konvergen dalam probabilitas ke nilai parameter sebenarnya dan asimptotik berarti bahwa, dengan asumsi adalah nilai sebenarnya dari parameter, $\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

Konvergensi tidak tergantung pada bentuk spesifik dari prior, tetapi hanya bahwa distribusi posterior diperoleh dari prior dan kemungkinan memenuhi kondisi keteraturan.

Kondisi keteraturan yang paling penting yang disebutkan dalam Gelman et al adalah bahwa kemungkinan fungsi kontinu dari parameter dan nilai sebenarnya dari parameter berada di bagian dalam ruang parameter. Juga, seperti yang Anda catat, posterior harus bukan nol di lingkungan terbuka dari nilai sebenarnya dari nilai sebenarnya dari parameter. Biasanya, prior Anda harus nol pada seluruh ruang parameter.

— caburke
sumber

terima kasih, sangat berwawasan. Saya berharap sebenarnya untuk hasil yang bahkan tidak akan berhubungan dengan nilai parameter "benar". Hanya menunjukkan bahwa secara teknis, karena Anda memiliki lebih banyak bukti, posterior yang akan Anda dapatkan adalah sama terlepas dari yang sebelumnya Anda mulai. Saya akan melakukan beberapa pengeditan untuk mencerminkan hal itu.

— bayesianOrFrequentist

@bayesianOrFrequentist Lihatlah teorema batas pusat Bayesian .

— Stéphane Laurent