Apakah penaksir Bayes mensyaratkan bahwa parameter sebenarnya adalah variasi yang mungkin dari sebelumnya?

Ini mungkin sedikit pertanyaan filosofis, tapi di sini kita pergi: Dalam teori keputusan, risiko penaksir Bayes untuk didefinisikan sehubungan dengan distribusi sebelumnya pada .θ∈qπ$\hat\theta(x)$$\theta\in\Theta$$\pi$$\Theta$

Sekarang, di satu sisi, agar benar telah menghasilkan data (yaitu "ada"), harus merupakan varian yang mungkin di bawah , misalnya memiliki probabilitas bukan nol, kerapatan tidak nol, dll .; di sisi lain, tidak diketahui, maka pilihan sebelumnya, jadi kami tidak memiliki jaminan bahwa adalah kemungkinan variasi di bawah kami pilih.θ π θ θ $\theta$$\theta$$\pi$$\theta$$\theta$$\pi$

Sekarang, tampak bagi saya bahwa kita entah bagaimana harus memilih sehingga akan menjadi varian yang mungkin. Kalau tidak, teorema tertentu tidak akan berlaku. Sebagai contoh, estimasi minimum tidak akan menjadi estimasi Bayes untuk prior yang paling tidak menguntungkan, karena kita bisa membuat itu sebelumnya sewenang-wenang dengan mengecualikan wilayah besar di sekitar dan memasukkan dari domainnya. Namun, menjamin bahwa memang dalam domain mungkin sulit dicapai.θ θ $\pi$$\theta$$\theta$$\theta$

Jadi pertanyaan saya adalah:

1. Apakah secara umum diasumsikan bahwa aktual adalah kemungkinan variasi dari ?$\theta$$\pi$
2. Bisakah ini dijamin?
3. Bisakah kasus yang melanggar ini setidaknya terdeteksi, jadi orang tidak bergantung pada teorema seperti minimax ketika kondisinya tidak berlaku?
4. Jika tidak diperlukan, mengapa standar hasil dalam teori keputusan berlaku?

Pertanyaan yang sangat bagus! Memang masuk akal bahwa distribusi sebelumnya "baik" memberikan probabilitas positif atau nilai kerapatan positif ke parameter "benar" , tetapi dari perspektif keputusan murni ini tidak harus menjadi kasus. Contoh tandingan sederhana untuk "intuisi" ini bahwa harus diperlukan, ketika adalah densitas sebelumnya dan adalah nilai parameter "true" dari parameter, adalah brilian hasil minimaxity dari Casella dan Strawderman (1981): ketika memperkirakan rata-rata Normal berdasarkan pada pengamatan tunggal dengan kendala tambahan yaitu , π ( θ 0 ) > 0 π ( ⋅ ) θ 0 μ x ∼ N ( μ , 1 ) | μ | < ρ ρ ρ ≤ 1.0567 { - ρ , ρ } π - ρ ρ μ π ( θ ) = $\theta_0$

$$\pi(\theta_0)>0$$ $\pi(\cdot)$$\theta_0$$\mu$$x\sim{\cal N}(\mu,1)$$|\mu|<\rho$$\rho$cukup kecil, secara khusus, penaksir minimax sesuai dengan seragam (paling tidak menguntungkan) sebelum , yang berarti bahwa memberikan bobot yang sama dengan dan ( dan tidak ada nilai lain dari mean ) Ketika meningkatkan yang paling tidak menguntungkan sebelum melihat dukungannya tumbuh, tetapi tetap memiliki nilai yang terbatas. Namun harapan posterior, , dapat mengambil nilai apa pun pada .$\rho\le 1.0567$$\{-\rho,\rho\}$$\pi$$-\rho$$\rho$$\mu$ρE[μ| x](-ρ,ρ $$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$$ $\rho$$\mathbb{E}[\mu|x]$$(-\rho,\rho)$

Inti dari diskusi (lihat komentar) mungkin adalah, jika estimator Bayes dibatasi untuk menjadi titik dalam dukungan , propertinya akan sangat berbeda.$\pi(\cdot)$

Demikian pula, ketika mempertimbangkan penaksir yang dapat diterima, penaksir Bayes yang terkait dengan tepat sebelum suatu perangkat kompak biasanya dapat diterima, meskipun mereka memiliki dukungan terbatas.

Dalam kedua kasus, gagasan frequentist (minimaxity atau diterimanya) didefinisikan atas rentang parameter yang mungkin daripada pada nilai "true" dari parameter (yang membawa jawaban untuk Pertanyaan 4.) Misalnya, melihat risiko posterior atau beresiko Bayes tidak melibatkan nilai sebenarnya . ∫ X ∫ Θ L(θ,δ)π(θ)f(x | θ)dθdx θ

$$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$$ $$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$$ $\theta_0$

Selanjutnya, sebagaimana ditunjukkan dalam contoh di atas, ketika estimator Bayes didefinisikan oleh ekspresi formal seperti mean posterior untuk kerugian kuadratik (atau ), penaksir ini dapat mengambil nilai di luar dukungan dalam kasus dukungan ini tidak cembung.L2

$$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$$ $L_2$$\pi$

Sebagai tambahan, saat membaca

agar θ benar telah menghasilkan data (yaitu "ada"), θ harus merupakan variasi yang mungkin di bawah π, misalnya memiliki probabilitas bukan nol, kerapatan bukan nol

Saya menganggapnya sebagai penyajian yang keliru dari makna prior. Distribusi sebelumnya tidak dimaksudkan untuk mekanisme fisik (atau nyata) aktual yang melihat nilai parameter dihasilkan dari diikuti oleh pengamatan dihasilkan dari . Prior adalah ukuran referensi pada ruang parameter yang menggabungkan informasi sebelumnya dan keyakinan subyektif tentang parameter dan itu sama sekali tidak unik. Analisis Bayesian selalu relatif terhadap analisis yang sebelumnya dipilih untuk melakukan analisis Bayesian ini. Oleh karena itu, tidak ada keharusan mutlak untuk parameter yang benar untuk menjadi milik dukungan dari . Jelas, ketika dukungan ini adalah perangkat terkoneksi yang kompak, π x f ( x | θ 0 ) π A A θ$\theta_0$$\pi$$x$$f(x|\theta_0)$$\pi$${\mathscr A}$, nilai parameter apa pun di luar set tidak dapat secara konsisten diestimasi oleh rata-rata posterior tetapi ini bahkan tidak mencegah penaksir diterima.${\mathscr A}$$\hat{\theta}^\pi$

1. $\theta$

2. $(-\infty, \infty)$$[0,1]$$(0, \infty)$

3. Jika posterior Anda "ditumpuk" di satu sisi domain sebelumnya, dan sebelumnya Anda memaksakan pembatasan yang tidak perlu pada domain di tepi yang sama, ini adalah indikator ad-hoc bahwa pembatasan yang tidak perlu mungkin menyebabkan Anda bermasalah. Tetapi ini hanya akan terjadi jika a) Anda telah membuat prior yang bentuknya sebagian besar didorong oleh kenyamanan daripada pengetahuan sebelumnya, dan b) bentuk yang diinduksi kenyamanan dari sebelumnya membatasi domain parameter ke subset dari apa yang " domain alami "dapat dianggap.

Contohnya adalah praktik lama, semoga lama usang, yang mengikat sebelumnya pada istilah varians sedikit jauh dari nol untuk menghindari kemungkinan kesulitan komputasi. Jika nilai sebenarnya dari varians adalah antara terikat dan nol, well ... tetapi sebenarnya berpikir tentang nilai-nilai potensial dari varians yang diberikan data, atau (misalnya) menempatkan prior pada log varians sebagai gantinya, akan memungkinkan Anda menghindari masalah ini, dan kepandaian ringan serupa harus memungkinkan Anda untuk menghindari prior yang membatasi domain pada umumnya.

4. Dijawab oleh # 1.

$\theta$$-\infty$$\infty$

$\theta$