Saya sangat baru dalam statistik Bayesian, dan ini mungkin pertanyaan konyol. Namun:

Pertimbangkan interval yang kredibel dengan prior yang menentukan distribusi seragam. Misalnya, dari 0 hingga 1, di mana 0 hingga 1 mewakili kisaran penuh dari nilai yang mungkin dari suatu efek. Dalam hal ini, apakah interval kredibel 95% sama dengan interval kepercayaan 95%?

Banyak interval kepercayaan sering (CI) didasarkan pada fungsi kemungkinan. Jika distribusi sebelumnya benar-benar tidak informatif, maka posterior Bayesian pada dasarnya memiliki informasi yang sama dengan fungsi kemungkinan. Akibatnya, dalam praktiknya, interval probabilitas Bayesian (atau interval yang kredibel) mungkin sangat mirip secara numerik dengan interval kepercayaan yang sering terjadi. [Tentu saja, bahkan jika secara numerik serupa, ada perbedaan filosofis dalam interpretasi antara taksiran interval frequentist dan Bayesian.]

Berikut adalah contoh sederhana, memperkirakan probabilitas keberhasilan binomial Misalkan kita memiliki pengamatan (percobaan) dengan keberhasilan.n = 100 X = $\theta.$$n = 100$$X = 73$

Frequentist: Interval Wald tradisional menggunakan estimasi titik Dan CI 95% adalah dalam bentuk yang dihitung denganQ ±1,96$\hat \theta = X/n = 73/100 = 0.73.$(0,643

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

Bentuk CI ini mengasumsikan bahwa distribusi binomial yang relevan dapat didekati dengan yang normal dan bahwa margin of error diperkirakan dengan baik oleh Khususnya untuk kecil asumsi ini tidak harus benar. [Kasus atau sangat bermasalah.]$\sqrt{\theta(1-\theta)/n}$n,X=0X=$\sqrt{\hat\theta(1-\hat\theta)/n}.$$n,$$X = 0$$X = n$

The Agresti-Coull CI telah terbukti memiliki probabilitas cakupan yang lebih akurat. Interval ini 'menambah dua Kesuksesan dan dua Kegagalan' sebagai trik untuk mendapatkan probabilitas cakupan lebih dekat hingga 95%. Itu dimulai dengan estimasi titik mana Kemudian CI 95% adalah dari bentuk yang dihitung menjadiUntuk dan perbedaan antara kedua gaya interval kepercayaan ini hampir dapat diabaikan. ˜ n +4. ˜ θ ±1,96$\tilde \theta = (X+2)/\tilde n,$$\tilde n + 4.$(0,612,0,792). n>1000,3<˜θ<0,7

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

Bayesian: Salah satu noninformatif populer sebelum dalam situasi ini adalahFungsi kemungkinan sebanding dengan Mengalikan kernel dari prior dan kemungkinan kita memiliki kernel dari distribusi posterior θ x ( 1 - θ ) n - x . B e t a ( x + 1 $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$$\theta^x(1-\theta)^{n-x}.$$\mathsf{Beta}(x+1,\, n-x+1).$

Kemudian estimasi interval Bayesian 95% menggunakan kuantil 0,025 dan 0,975 dari distribusi posterior untuk mendapatkan Ketika distribusi sebelumnya 'flat' atau 'noninformative' perbedaan numerik antara interval probabilitas Bayesian dan interval kepercayaan Agresti-Coull sedikit.$(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

Catatan: (a) Dalam situasi ini, beberapa orang Bayesian lebih suka yang sebelumnya(B) Untuk tingkat kepercayaan selain 95%, CI Agresti-Coull menggunakan estimasi titik yang sedikit berbeda. (c) Untuk data selain binomial, mungkin tidak tersedia 'flat' sebelumnya, tetapi orang dapat memilih sebelumnya dengan varians yang sangat besar (presisi kecil) yang membawa sedikit sekali informasi. (d) Untuk diskusi lebih lanjut tentang Agresti-Coull CI, grafik probabilitas cakupan, dan beberapa referensi, mungkin juga lihat Tanya Jawab ini .$\mathsf{Beta}(.5, .5).$

Jawaban BruceET sangat bagus tetapi cukup panjang, jadi inilah ringkasan praktis cepatnya:

• jika sebelumnya datar, kemungkinan dan posterior memiliki bentuk yang sama
• intervalnya, bagaimanapun, tidak harus sama, karena mereka dibangun dengan cara yang berbeda. Bayesian 90% CI standar mencakup 90% pusat posterior. CI yang sering muncul biasanya didefinisikan oleh perbandingan poin-bijaksana (lihat jawaban BruceET). Untuk parameter lokasi tidak terikat (misalnya memperkirakan rata-rata distribusi normal), perbedaan biasanya kecil, tetapi jika Anda memperkirakan parameter terikat (mis. Rata-rata binomial) dekat dengan batas (0/1), perbedaan bisa sangat besar.
• tentu saja, interpretasinya juga berbeda, tetapi saya menafsirkan pertanyaan terutama sebagai "kapan nilainya akan sama?"

Sementara seseorang dapat memecahkan sebelum yang menghasilkan interval kredibel yang sama dengan interval kepercayaan sering, penting untuk menyadari betapa sempitnya ruang lingkup aplikasi. Seluruh diskusi mengasumsikan bahwa ukuran sampel telah diperbaiki dan bukan merupakan variabel acak. Diasumsikan bahwa hanya ada satu kali melihat data, dan kesimpulan sekuensial tidak dilakukan. Ini mengasumsikan hanya ada satu variabel dependen dan tidak ada parameter lain yang menarik. Di mana ada banyak, interval Bayesian dan frequentist berbeda (probabilitas posterior Bayesian berada dalam mode prediksi waktu maju dan tidak perlu mempertimbangkan "bagaimana kita sampai di sini", sehingga tidak memiliki cara atau perlu menyesuaikan untuk beberapa tampilan). Tambahan,

Kemungkinan Bayesian dengan datar sebelum$\neq$

Fungsi kemungkinan, dan terkait interval kepercayaan, tidak sama (konsep) sebagai probabilitas posterior Bayesian dibangun dengan sebelum yang menentukan distribusi seragam.

Pada bagian 1 dan 2 dari jawaban ini dikemukakan mengapa kemungkinan tidak boleh dilihat sebagai probabilitas posterior Bayesian berdasarkan pada flat sebelumnya.

Pada bagian 3 contoh diberikan di mana interval kepercayaan dan interval kredibel sangat bervariasi. Juga ditunjukkan bagaimana perbedaan ini muncul.

1 Perilaku berbeda ketika variabel ditransformasikan

$f_x(x)$$f_\xi(\xi)$$\xi$$x=\chi(\xi)$

$\bar{x} \neq \chi(\bar{\xi})$$x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$

Fungsi kemungkinan tidak berubah dengan cara ini . Ini adalah kontras antara fungsi kemungkinan dan probabilitas posterior. Fungsi kemungkinan (maksimum) tetap sama ketika Anda mentransformasikan variabel.

Terkait:

• Flat sebelumnya adalah ambigu . Itu tergantung pada bentuk statistik tertentu.

  Misalnya, jika adalah seragam didistribusikan (misalnya , maka adalah tidak variabel seragam didistribusikan.$X$$\mathcal{U}(0,1))$$X^2$

  Tidak ada flat tunggal sebelum Anda dapat menghubungkan fungsi Likelihood ke. Ini berbeda ketika Anda mendefinisikan flat sebelum atau variabel yang diubah seperti . Kemungkinan ketergantungan ini tidak ada.$X$$X^2$

• Batas-batas probabilitas (interval kredibilitas) akan berbeda ketika Anda mengubah variabel, (untuk fungsi kemungkinan ini tidak terjadi) . Misalnya untuk beberapa parameter dan transformasi monoton (misalnya logaritma) Anda mendapatkan interval kemungkinan yang setara$a$$f(a)$

  $$\begin{array}{ccccc} a_{\min} &<& a &<& a_{\max}\\ f(a_{\min}) &<& f(a) &<& f(a_{\max}) \end{array}$$

2 Konsep berbeda: interval kepercayaan independen dari sebelumnya

Misalkan Anda sampel variabel dari populasi dengan (tidak diketahui) parameter yang itu sendiri (populasi dengan parameter ) diambil sampelnya dari populasi super (dengan kemungkinan nilai yang bervariasi untuk ).$X$$\theta$$\theta$$\theta$

Satu dapat membuat pernyataan terbalik mencoba untuk menyimpulkan apa yang asli mungkin telah didasarkan pada mengamati beberapa nilai untuk variabel .$\theta$$x_i$$X$

• Metode Bayesian melakukan ini dengan mengandaikan distribusi sebelumnya untuk distribusi kemungkinan$\theta$
• Ini kontras dengan fungsi kemungkinan dan interval kepercayaan, yang independen dari distribusi sebelumnya.

Interval kepercayaan tidak menggunakan informasi dari sebelumnya seperti interval yang kredibel (kepercayaan bukan probabilitas).

Terlepas dari distribusi sebelumnya (seragam atau tidak) , interval kepercayaan-diri x% akan berisi parameter sebenarnya dalam kasus$x%$ (interval kepercayaan merujuk pada tingkat keberhasilan, kesalahan tipe I, metode, bukan kasus tertentu) .

Dalam kasus interval kredibel, konsep ini ( waktu interval mengandung parameter sebenarnya) bahkan tidak dapat diterapkan, tetapi kami dapat mengartikannya dalam pengertian frequentist dan kemudian kami mengamati bahwa interval kredibel hanya akan berisi parameter sebenarnya dari waktu ketika (seragam) sebelumnya dengan benar menggambarkan populasi super parameter yang mungkin kita temui. Interval mungkin secara efektif berkinerja lebih tinggi atau lebih rendah dari x% (bukan berarti ini penting karena pendekatan Bayesian menjawab pertanyaan yang berbeda, tetapi hanya untuk mencatat perbedaannya).$%$$x%$

3 Perbedaan antara interval kepercayaan dan kredibel

Dalam contoh di bawah ini kita menguji fungsi kemungkinan untuk distribusi eksponensial sebagai fungsi dari parameter rate , mean sampel , dan ukuran sampel :$\lambda$$\bar{x}$$n$

fungsi ini menyatakan probabilitas untuk mengamati (untuk dan ) contoh rata-rata antara dan .$n$$\lambda$$\bar{x}$$\bar{x}+dx$

^{Catatan: parameter rate berubah dari hingga (tidak seperti OP 'request' dari ke ). Sebelumnya dalam hal ini akan menjadi sebelumnya tidak patut . Namun prinsipnya tidak berubah. Saya menggunakan perspektif ini untuk ilustrasi yang lebih mudah. Distribusi dengan parameter antara dan seringkali merupakan distribusi diskrit (sulit untuk menggambar garis kontinu) atau distribusi beta (sulit untuk dihitung)$\lambda$$0$$\infty$$0$$1$$0$$1$}

Gambar di bawah ini menggambarkan fungsi kemungkinan ini (peta berwarna biru), untuk ukuran sampel , dan juga menggambar batas untuk interval 95% (kepercayaan dan kredibilitas).$n=4$

Batas dibuat untuk mendapatkan fungsi distribusi kumulatif (satu dimensi). Tapi, integrasi / penumpukan ini bisa dilakukan dalam dua arah .

Perbedaan antara interval terjadi karena area 5% dibuat dengan cara yang berbeda.

• Interval kepercayaan 95% berisi nilai yang nilai yang diamati akan terjadi setidaknya di 95% dari kasus. Lewat sini. berapapun nilainya , kami hanya akan membuat penilaian yang salah dalam 95% kasus.$\lambda$$\bar{x}$$\lambda$

  Untuk Anda memiliki batas utara dan selatan (mengubah ) 2,5% dari bobot fungsi kemungkinan.$\lambda$$\bar{x}$

• Interval kredibel 95% berisi nilai yang paling mungkin menyebabkan nilai yang diamati (diberikan flat sebelumnya).$\lambda$$\bar{x}$

  Bahkan ketika hasil yang diamati kurang dari 5% kemungkinan untuk diberikan , tertentu mungkin berada di dalam interval yang kredibel. Dalam contoh tertentu nilai yang lebih tinggi dari 'disukai' untuk interval yang kredibel.$\bar{x}$$\lambda$$\lambda$$\lambda$

  Untuk setiap Anda memiliki batas barat dan timur (mengubah ) 2,5% dari bobot fungsi kemungkinan.$\bar{x}$$\lambda$

Sebuah kasus di mana interval kepercayaan dan interval kredibel (berdasarkan sebelumnya tidak tepat) bertepatan adalah untuk memperkirakan rata-rata variabel terdistribusi Gaussian (distribusi diilustrasikan di sini: https://stats.stackexchange.com/a/351333/164061 ).

Kasus yang jelas di mana interval kepercayaan dan interval yang kredibel tidak bersamaan diilustrasikan di sini ( https://stats.stackexchange.com/a/369909/164061 ). Interval kepercayaan untuk kasus ini mungkin memiliki satu atau bahkan kedua dari batas (atas / bawah) pada tak terhingga.

Ini umumnya tidak benar, tetapi mungkin tampak demikian karena kasus-kasus khusus yang paling sering dianggap.

PertimbangkanInterval adalah interval kepercayaan untuk meskipun bukan yang digunakan oleh siapa pun yang memiliki akal sehat. Itu tidak bertepatan dengan interval kredibel dari posterior dari flat sebelumnya.( min { X , Y } , maks { X , Y } ) 50 % θ , 50 $X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$$\big(\min\{X,Y\},\max\{X,Y\}\big)$$50\%$$\theta,$$50\%$

Teknik pengkondisian Fisher pada statistik tambahan tidak dalam hal ini menghasilkan interval kepercayaan yang bertepatan dengan interval yang kredibel.

Dari bacaan saya, saya pikir pernyataan ini benar asimptotik, yaitu untuk ukuran sampel yang besar, dan jika seseorang menggunakan sebelumnya tidak informatif.

Contoh numerik sederhana akan mengonfirmasi hal ini - interval kemungkinan maksimum profil 90% dan interval kredibel 90% dari biner GLM ML dan Bayesian binomial GLM memang hampir identik n=1000, meskipun perbedaan akan menjadi lebih besar untuk kecil n:

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

Seperti yang Anda lihat, pada contoh di atas, untuk n=1000, interval kepercayaan profil 90% dari GLM binomial hampir identik dengan interval kredibel 90% dari binerial GLM Bayesian (perbedaannya juga dalam batas menggunakan benih yang berbeda dan berbeda Tidak ada iterasi dalam kesesuaian bayesian, dan kesetaraan yang tepat juga tidak dapat diperoleh karena menentukan 100% informasi sebelumnya juga tidak mungkin dengan rstanarmatau brms).