Regresi Bayesian dengan singular

Komunitas SE, saya berharap mendapatkan wawasan tentang masalah berikut. Diberikan model regresi linier sederhana Di bawah fungsi kemungkinan Gaussian dengan istilah kesalahan homoseksual, distribusi bersyarat dari variabel dependen mengambil bentuk Saya menetapkan konjugat bersyarat (tidak informasi) sebelum untuk dan adalah . Ini adalah hasil standar bahwa distribusi posterior marginal dari adalah multivariat t dengan

Y = X β + ϵ dimana Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y | β, h \sim N (X β, h^{- 1} saya) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

β

$\beta$

h

$h$

β | h \sim N (0, c saya), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ Apa yang terjadi jika singular? Dalam regresi standar saya akan memilih Moore-Penrose Pseudoinverse daripada menggunakan . Namun, dalam hal ini varian posterior akan singular juga dan saya ragu bahwa distribusi- masih terdefinisi dengan baik. Apakah ini benar?

(X^{'} X)

$(X'X)$

(X^{'} X)^{+}

$(X'X)^+$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$

t

$t$

Dan lebih jauh lagi mengganggu saya: Asumsikan saya tidak benar-benar tertarik dengan distribusi posterior dari tetapi hanya kombinasi linear mana , dan . Saya dapat mengambil sampel dari distribusi tersebut meskipun konstruksinya didasarkan pada sesuatu yang tidak benar-benar didefinisikan (distribusi ). Apakah ada cara untuk menangani ini? Atau adakah kesalahan mendasar dalam pertanyaan saya yang membuat seluruh poin saya usang? $\beta$ $z:=A\beta$ $A\in\mathbb{R}^{N-1 \times N}$ $|A\hat{\Sigma}A'|\neq 0$ $\beta$

— muffin1974
sumber

Paling-paling, prior non-informatif memberikan hasil yang bermanfaat ketika data secara unik mengidentifikasi parameter model - Pengamatan ini pada dasarnya mengapa kami memiliki regresi ridge dan kerabatnya alih-alih hanya mengandalkan OLS. Tetapi jika data tidak cukup informatif, biasanya orang akan pergi dengan rute regresi yang diatur (ridge, dll) atau rute Bayes sepenuhnya. Dalam rute Bayes lengkap, tentukan distribusi yang tepat dan informatif sebelum data Anda dan masalahnya akan dapat ditelusuri.

— Sycorax berkata Reinstate Monica

Terima kasih atas komentar Anda sejauh ini! Saya mendapatkan poin bahwa posterior tidak didefinisikan dengan benar. Namun, apakah ini benar-benar menyebabkan masalah untuk variabel acak yang setidaknya secara teoritis didefinisikan dengan baik?

β

$\beta$

z

$z$

— muffin1974

Baik. Yang membingungkan saya adalah bahwa posterior tampaknya masuk akal meskipun jalan menuju solusi tidak memuaskan sama sekali. Saat ini saya sedang mencari cara untuk menulis ulang persamaan regresi, karena saya optimis akan mungkin untuk mendapatkan langsung parameter regresi daripada membuang-buang waktu untuk mencari . Namun, meskipun ini tampaknya mungkin dalam kasus spesifik saya, saya masih memiliki pertanyaan apa artinya jika model 'buruk' bersarang dalam model yang berfungsi ...

z

$z$

z

$z$

β

$\beta$

— muffin1974

Masalah utama dengan pertanyaan Anda adalah bahwa mengambil batasan tidak secara langsung meluas ke pengukuran dan distribusi probabilitas. Ada banyak jenis konvergensi yang terkait dengan tindakan.

Oleh karena itu, mempertimbangkan konjugat

β | h \sim N (0, c saya), h \sim G (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$ dan membiarkan

ν

$\nu$ dan

c

$c$ pergi ke

0

$0$ dan

\infty

$\infty$ , masing-masing, tidak memiliki makna matematika yang tepat atau unik.

Sekarang, jika Anda mempertimbangkan yang tidak patut sebelumnya

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$ tidak ada distribusi posterior yang terkait dengan kemungkinan

L. (β, h | X, y) = \exp {- h (y - X β)^{T} (y - X β) / 2} h^{T / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$ karena potensi posterior tidak berintegrasi

β

$\beta$ tergantung pada

h

$h$ . Tidak ada

\hat{Σ} = (X^{T} X)^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$ baik karena kebalikannya tidak ada dan tidak ada distribusi yang didefinisikan dengan baik

A β

$A\beta$ .

— Xi'an
sumber