Mengapa kemiringan selalu tepat 1 ketika melakukan regresi kesalahan pada residu menggunakan OLS?

10

Saya sedang bereksperimen dengan hubungan antara kesalahan dan residu menggunakan beberapa simulasi sederhana dalam R. Satu hal yang saya temukan adalah bahwa, terlepas dari ukuran sampel atau varians kesalahan, saya selalu mendapatkan tepat untuk lereng ketika Anda cocok dengan model $1$

e r r o r s \sim β_{0} + β_{1} \times r e s i d u a l s

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

Berikut simulasi yang saya lakukan:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

edan rberkorelasi sangat (tetapi tidak sempurna), bahkan untuk sampel kecil, tapi saya tidak tahu mengapa ini terjadi secara otomatis. Penjelasan matematis atau geometris akan dihargai.

regression least-squares residuals

— GoF_Logistic
sumber

5

Dalam bidang segitiga OXY, dengan basis OX, ketinggian sisi YO dan XY adalah ketinggian segitiga itu sendiri. Agar, mereka ketinggian diberikan oleh koefisien lm(y~r), lm(e~r), dan lm(r~r), yang karena itu semua harus sama. Yang terakhir jelas adalah

. Coba ketiga perintah ini untuk melihat. Untuk membuat yang terakhir berfungsi di Anda harus membuat salinan , seperti . Untuk selengkapnya tentang diagram geometri regresi, lihat stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

Terima kasih @whuber. Apakah Anda ingin membuat selain jawaban sehingga saya dapat menerimanya, atau mungkin menandainya sebagai duplikat?

— GoF_Logistic

1

Saya pikir itu bukan duplikat, jadi saya telah memperluas komentar menjadi sebuah jawaban.

— whuber

11

jawaban whuber sangat bagus! (+1) Saya mengatasi masalah menggunakan notasi yang paling akrab bagi saya dan menganggap derivasi (kurang menarik, lebih rutin) mungkin bermanfaat untuk dimasukkan di sini.

Biarkan menjadi model regresi, untuk dan noise. Kemudian regresi terhadap kolom memiliki persamaan normal menghasilkan estimasi $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {(X^{T} X)}^{- 1} X^{T} y .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$ Oleh karena itu regresi memiliki residual

untuk

.

r = y - X \hat{β} = (I - H) y = (I - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Kemunduran pada hasil dalam perkiraan kemiringan yang diberikan oleh $\epsilon$ $r$ karenasimetris dan idempoten danhampir pasti.

\begin{aligned} (r^{T} r)^{- 1} r^{T} ϵ & = {({[(I - H) ϵ]}^{T} [(I - H) ϵ])}^{- 1} {[(I - H) ϵ]}^{T} ϵ \\ = \frac{ϵ^{T} {(I - H)}^{T} ϵ}{ϵ^{T} {(I - H)}^{T} (I - H) ϵ} \\ = \frac{ϵ^{T} (I - H) ϵ}{ϵ^{T} (I - H) ϵ} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

Lebih lanjut, argumen ini juga berlaku jika kita memasukkan intersep ketika kita melakukan regresi kesalahan pada residu jika intersep dimasukkan dalam regresi asli, karena kovariat bersifat ortogonal (yaitu , dari persamaan normal) . $1^T r = 0$

— pengguna795305
sumber

+1 Selalu menyenangkan melihat solusi bekerja dengan hati-hati dan jelas.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— whuber
sumber