Mengevaluasi distribusi prediksi posterior dalam regresi linear Bayesian

10

Saya bingung bagaimana cara mengevaluasi distribusi prediksi posterior untuk regresi linier Bayesian, melewati kasus dasar yang dijelaskan di sini pada halaman 3, dan disalin di bawah ini.

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

Kasus dasar adalah model regresi linier ini:

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

Jika kita menggunakan seragam sebelum , dengan skala-Inv sebelum , ATAU gamma normal-terbalik sebelumnya (lihat di sini ) distribusi prediktif posterior analitik dan adalah siswa t. $\beta$ $\chi^2$ $\sigma^2$

Bagaimana dengan model ini?

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

Ketika , tetapi diketahui, distribusi prediktif posterior adalah Gaussian multivarian. Biasanya, Anda tidak tahu , tetapi harus memperkirakannya. Mungkin Anda mengatakan diagonal dan menjadikan diagonal fungsi kovariat. Ini dibahas dalam bab regresi linier Analisis Data Bayesian Gelman . $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

Apakah ada bentuk analitik untuk distribusi prediksi posterior dalam kasus ini? Bisakah saya tancapkan perkiraan saya ke dalam t multivariate student? Jika Anda memperkirakan lebih dari satu varian, apakah distribusinya masih multivarian t?

Saya bertanya karena katakanlah saya memiliki beberapa sudah di tangan. Saya ingin tahu apakah itu lebih mungkin telah diprediksi oleh misalnya regresi linier A, regresi linier B $\tilde y$

— bill_e
sumber

1

Jika Anda memiliki sampel posterior dari distribusi posterior Anda dapat mengevaluasi distribusi prediktif dengan perkiraan Monte Carlo

— niandra82

Ah terima kasih, aku selalu bisa melakukan itu. Apakah tidak ada rumus analitik dalam kasus ini?

— bill_e

Omong-omong, tautannya rusak. Akan lebih bagus jika Anda memasukkan referensi dengan cara lain.

— Maxim.K

6

Jika Anda menganggap seragam sebelum , maka posterior untuk adalah dengan Untuk menemukan distribusi prediktif, kami memerlukan informasi lebih lanjut. Jika dan tidak tergantung pada diberikan , maka Tetapi biasanya untuk jenis model ini, dan tidak independen secara kondisional, sebaliknya, biasanya kita miliki $\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y dan V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ Jika demikian, maka Ini mengasumsikan dan semuanya diketahui. Seperti yang Anda tunjukkan, biasanya mereka tidak dikenal dan perlu diperkirakan. Untuk model umum yang memiliki struktur ini, misalnya seri waktu dan model spasial, umumnya tidak akan ada bentuk tertutup untuk distribusi prediktif.

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
sumber

2

Di bawah prior-Wishart non-informatif atau multivariat, Anda memiliki bentuk analitis sebagai distribusi Siswa multivariat, untuk mutlivariat klasik, regresi berganda. Saya kira perkembangan ini dokumen yang terkait dengan pertanyaan Anda (Anda mungkin seperti Lampiran A :-)). Saya biasanya membandingkan hasilnya dengan distribusi prediksi posterior yang diperoleh dengan menggunakan WinBUGS dan bentuk analitis: mereka persis sama. Masalahnya hanya menjadi sulit ketika Anda memiliki efek acak tambahan dalam model efek campuran, terutama dalam desain yang tidak seimbang.

Secara umum, dengan regresi klasik, y dan ỹ bersyarat independen (residual iid)! Tentu saja jika bukan itu masalahnya, maka solusi yang diusulkan di sini tidak benar.

Di R, (di sini, solusi untuk prior uniform), dengan asumsi Anda membuat model lm (bernama "model") dari salah satu respons dalam model Anda, dan menyebutnya "model", berikut adalah cara mendapatkan distribusi prediksi multivarian

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Sekarang, kuantil dari ysim adalah interval toleransi beta-ekspektasi dari distribusi prediktif, Anda tentu saja dapat langsung menggunakan distribusi sampel untuk melakukan apa pun yang Anda inginkan.

— Pierre Lebrun
sumber