Apa tradeoff varians bias ini untuk koefisien regresi dan bagaimana cara mendapatkannya?

9

Dalam tulisan ini , ( Bayesian Inference untuk Variance Components Using Only Error Contrasts , Harville, 1974), penulis mengklaim untuk menjadi "terkenal hubungan ", untuk regresi linier mana

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

Bagaimana ini terkenal? Apa cara paling sederhana untuk membuktikan ini?

— Sibbs Gambling
sumber

1

Itu ada di wikipedia , lihat 'derivasi' di sana.

— user603

@ user603 Apakah Anda keberatan membuat tautannya lebih jelas? Terima kasih!

— Sibbs Gambling

@ user603 Maaf, saya benar-benar tidak dapat melihat bagaimana tautan menyelesaikan masalah. Bagi saya, dalam kasus saya, persamaannya adalah Var (y) = bias + ... Bisakah Anda menguraikan?

— Sibbs Gambling

4

@SibbsGambling Perhatikan bahwa persamaan Anda memiliki dua istilah terkait varians dalam formulasi regresi linier tertimbang ini . Istilah di sebelah kiri terkait dengan varian di sekitar model yang sebenarnya (dibobot oleh matriks presisi

). Istilah pertama di sebelah kanan terkait dengan varian di sekitar model yang dipasang. Istilah kedua di sebelah kanan terkait dengan kuadrat bias. Itu tradeoff varians-bias.

H^{- 1}

$H^{-1}$

— EdM

6

Istilah terakhir dalam persamaan dapat ditulis sebagai

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

Dalam bentuk ini persamaannya mengatakan sesuatu yang menarik. Dengan asumsi adalah pasti dan simetris positif, demikian juga kebalikannya. Oleh karena itu, kita dapat mendefinisikan produk dalam , memberi kita geometri. Kemudian kesetaraan di atas pada dasarnya mengatakan bahwa, $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

Saya ingin memberi Anda sedikit intuisi karena seorang komentator telah meninggalkan tautan ke derivasi.

Sunting: Untuk Cucu

LHS:

\begin{array}{rcl} (y - X β)^{'} H^{- 1} (y - X β) & = & y^{'} H^{- 1} y & - & 2 y^{'} H^{- 1} X β & + & β^{'} X^{'} H^{- 1} X β \\ = & (A) & - & (B) & + & (C) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS:

(y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} H^{- 1} y & - 2 y^{'} H^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} & + β X^{'} H^{- 1} X β & - 2 \hat{β} X^{'} H^{- 1} X β & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} \\ = & (A) & - (D) & + (E) & + (C) & - (F) & + (E) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

Hubungan:

\hat{β} = (X^{'} H^{- 1} X)^{- 1} X^{'} H^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

Dengan menghubungkan dalam relasi Anda dapat menunjukkan bahwa (B) = (F), dan bahwa 2 (E) = (D). Semua selesai.

— jlimahaverford
sumber

Maaf saya tidak bisa melihat bagaimana tautannya menyelesaikan masalah. Bagi saya, dalam kasus saya, persamaannya adalah Var (y) = bias + ... Bisakah Anda menguraikan?

— Sibbs Gambling

@SibbsGambling mengedit jawaban saya termasuk derivasi.

— jlimahaverford

y

$y$

\hat{β}

$\hat{\beta}$

7

Mereka sampai pada identitas ini dengan teknik yang disebut melengkapi alun-alun. Sisi kiri dalam bentuk kuadrat, jadi mulailah dengan mengalikannya

(y - X β)^{'} H^{- 1} (y - X β) = y^{'} H^{- 1} y - 2 y^{'} H^{- 1} X β + β^{'} X^{'} H^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
sumber

2

Jika Anda tahu aljabar matriks Anda, maka ini bisa dilakukan dengan mengalikan semuanya dan memverifikasi bahwa Anda memang memiliki hal yang sama di kedua sisi. Inilah yang ditunjukkan oleh jlimahaverford.

$\hat{\beta}$

X \sim N (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

Y = P^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} y & = X β + ϵ \\ P^{- 1} y & = P^{- 1} X β + P^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$

\tilde{X} = P^{- 1} X, \tilde{y} = P^{- 1} y dan \tilde{ϵ} = P^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T} \tilde{X})^{- 1} {\tilde{X}}^{T} \tilde{y} \\ = ((P^{- 1} X)^{T} P^{- 1} X)^{- 1} (P^{- 1} X)^{T} P^{- 1} y \\ = (X^{T} (P P^{T})^{- 1} X)^{- 1} X (P P^{T})^{- 1} y \\ = (X^{T} H^{- 1} X)^{- 1} X H^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— Gumeo
sumber