Contoh untuk prior, yang tidak seperti Jeffreys, mengarah ke posterior yang tidak invarian

Saya mengepos ulang "jawaban" untuk pertanyaan yang saya berikan sekitar dua minggu yang lalu di sini: Mengapa Jeffrey dulu bermanfaat? Itu benar-benar sebuah pertanyaan (dan saya juga tidak punya hak untuk mengirim komentar pada saat itu), jadi saya harap tidak apa-apa untuk melakukan ini:

Dalam tautan di atas dibahas bahwa fitur menarik dari Jeffreys sebelumnya adalah bahwa, ketika melakukan reparameterisasi model, distribusi posterior yang dihasilkan memberikan probabilitas posterior yang mematuhi batasan yang dikenakan oleh transformasi. Katakanlah, seperti yang dibahas di sana, ketika bergerak dari keberhasilan probabilitas $\theta$ dalam contoh Beta-Bernoulli untuk peluang $\psi=\theta/(1-\theta)$ , harus menjadi kasus bahwa sebuah memenuhi posterior $P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$ .

Saya ingin membuat contoh numerik invariansi Jeffrey sebelum mengubah $\theta$ menjadi odds $\psi$ , dan, yang lebih menarik, tidak adanya prior dari prior lainnya (katakanlah, Haldane, seragam, atau yang sewenang-wenang).

Sekarang, jika posterior untuk probabilitas keberhasilan adalah Beta (untuk Beta sebelumnya, tidak hanya Jeffrey), posterior peluang mengikuti distribusi Beta dari jenis kedua (lihat Wikipedia) dengan parameter yang sama . Kemudian, seperti yang disorot dalam contoh numerik di bawah ini, tidak terlalu mengejutkan (bagi saya, setidaknya) bahwa ada invarian untuk pilihan Beta sebelumnya (bermain-main dengan alpha0_Udan beta0_U), tidak hanya Jeffreys, lih. output dari program.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Ini membawa saya ke pertanyaan-pertanyaan berikut:

1. Apakah saya melakukan kesalahan?
2. Jika tidak, apakah ada akibat seperti tidak ada kekurangan dalam keluarga konjugat, atau sesuatu seperti itu? (Pemeriksaan cepat membuat saya curiga bahwa saya dapat misalnya juga tidak menghasilkan kurangnya invarian dalam kasus normal-normal.)
3. Apakah Anda tahu contoh (diutamakan sederhana) di mana kami benar -benar kekurangan invarian?

Perhitungan Anda tampaknya memverifikasi bahwa, ketika kami memiliki distribusi tertentu sebelumnya dua prosedur berikut$p(\theta)$

1. Hitung p posterior θ ∣ D ( θ ∣ D )$p_{\theta \mid D}(\theta \mid D)$
2. Ubah posterior tersebut menjadi parametrization lain untuk mendapatkan $p_{\psi \mid D}(\psi \mid D)$

dan

1. $p_\theta(\theta)$$p_\psi(\psi)$
2. $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$

Namun, ini bukan poin dari invarian yang dimaksud. Alih-alih, pertanyaannya adalah apakah, ketika kita memiliki Metode khusus untuk Memutuskan Sebelumnya, dua prosedur berikut:

1. Gunakan Metode Untuk Memutuskan Sebelum memutuskan $p_\theta(\theta)$
2. $p_\psi(\psi)$

dan

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

Sepertinya Anda memverifikasi kemungkinan yang disebabkan oleh data tidak terpengaruh oleh parametrization, yang tidak ada hubungannya dengan yang sebelumnya.

Jika cara Anda memilih prior adalah dengan, misalnya, "memilih seragam sebelumnya", lalu apa yang seragam di bawah satu parametrization (katakanlah Beta, yaitu Beta (1,1)) tidak seragam di bawah yang lain, katakanlah, BetaPrime (1,1) ) (yang condong) - itu BetaPrime (1, -1) seragam jika hal seperti itu ada.

The Jeffrey sebelumnya adalah satu-satunya "cara untuk memilih prior" yang tidak berubah dalam reparametrization. Jadi itu kurang asumtif daripada cara lain dalam memilih prior.