Dalam regresi linier sederhana, dari mana formula untuk varian dari residual berasal?

Menurut teks yang saya gunakan, rumus untuk varian dari sisa diberikan oleh: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

Saya menemukan ini sulit untuk percaya karena residual adalah perbedaan antara nilai diamati dan nilai dipasang; jika seseorang menghitung varians dari perbedaan, paling tidak saya akan mengharapkan beberapa "plus" dalam ekspresi yang dihasilkan. Setiap bantuan dalam memahami derivasi akan dihargai. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Eric
sumber

Apakah mungkin bahwa beberapa tanda " " dalam teks sedang salah diterjemahkan (atau salah dibaca) sebagai tanda " "?

+

$+$

-

$-$

— whuber

Saya sudah memikirkan ini, tetapi itu terjadi dua kali dalam teks (2 bab berbeda) jadi saya pikir itu tidak mungkin. Tentu saja, derivasi formula akan membantu! :)

— Eric

Negatif adalah hasil dari korelasi positif antara pengamatan dan nilai yang dipasang, yang mengurangi varians perbedaan.

— Glen_b -Reinstate Monica

@ Glen Terima kasih telah menjelaskan mengapa rumus ini masuk akal, bersama dengan derivasi matriks Anda di bawah ini.

— Eric

Intuisi tentang tanda-tanda "plus" yang terkait dengan varians (dari fakta bahwa bahkan ketika kita menghitung varians dari perbedaan variabel acak independen, kami menambahkan variansnya) benar tetapi tidak lengkap secara fatal: jika variabel acak yang terlibat tidak independen , maka kovarian juga terlibat - dan kovarian mungkin negatif. Ada ungkapan yang hampir seperti ungkapan dalam pertanyaan yang dianggap "harus" oleh OP (dan saya), dan itu adalah varian dari kesalahan prediksi , yang menyatakannya , di mana : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Perbedaan penting antara varians dari kesalahan prediksi dan varians dari estimasi kesalahan (yaitu dari sisa), adalah bahwa istilah kesalahan dari pengamatan diprediksi tidak berkorelasi dengan estimator , karena nilai itu tidak digunakan dalam membangun estimator dan menghitung estimasi, menjadi nilai out-of-sample. $y^0$

Aljabar untuk keduanya berlangsung dengan cara yang persis sama hingga titik (menggunakan bukan ), tetapi kemudian menyimpang. Secara khusus: $^0$ $_i$

Dalam regresi linier sederhana , , varian dari estimator masih $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Kita punya

X^{'} X = [\begin{matrix} n & \sum x_{saya} \\ \sum x_{saya} & \sum x_{saya}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

dan sebagainya

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{saya}^{2} & - \sum x_{saya} \\ - \sum x_{saya} & n \end{matrix}] \cdot {[n \sum x_{saya}^{2} - {(\sum x_{saya})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Kita punya

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Begitu

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

yang berarti itu

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

The residu -th didefinisikan sebagai $i$

{\hat{kamu}}_{saya} = y_{saya} - {\hat{y}}_{saya} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya} + {kamu}_{saya}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Koefisien yang sebenarnya diperlakukan sebagai konstanta, regressor adalah tetap (atau tergantung pada itu), dan memiliki nol kovarians dengan istilah kesalahan, tetapi para estimator berkorelasi dengan istilah kesalahan, karena estimator mengandung variabel dependen, dan variabel dependen berisi istilah kesalahan. Jadi kita punya

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{saya} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya}], {kamu}_{saya})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{saya}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya}], {kamu}_{saya})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Kemasi sedikit untuk mendapatkan

Var ({\hat{kamu}}_{saya}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{saya} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya}], {kamu}_{saya})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Istilah dalam tanda kurung besar memiliki struktur yang persis sama dengan varians dari kesalahan prediksi, dengan satu-satunya perubahan adalah bahwa alih-alih kita akan memiliki (dan varians akan menjadi dari dan bukan dari ). Istilah kovarians terakhir adalah nol untuk kesalahan prediksi karena dan karenanya adalah tidak termasuk dalam estimator, tetapi tidak nol untuk kesalahan estimasi karena dan karenanya merupakan bagian dari sampel dan sehingga termasuk dalam penduga Kita punya $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya}], {kamu}_{saya}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{saya}] {kamu}_{saya})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

substitusi terakhir dari cara dihitung. Melanjutkan, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Memasukkan ini ke dalam ekspresi untuk varian residual, kami dapatkan

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Jadi topi ke teks OP menggunakan.

(Saya telah melewatkan beberapa manipulasi aljabar, tidak heran aljabar OLS semakin jarang diajarkan saat ini ...)

BEBERAPA INTUISI

Jadi tampaknya apa yang berfungsi "terhadap" kami (varian lebih besar) saat memprediksi, berfungsi "untuk kami" (varian lebih rendah) saat memperkirakan. Ini adalah titik awal yang baik bagi seseorang untuk merenungkan mengapa kecocokan yang sangat baik mungkin merupakan pertanda buruk untuk kemampuan prediksi model (betapapun kontra-intuitif ini mungkin terdengar ...).
Fakta bahwa kami memperkirakan nilai yang diharapkan dari regressor, menurunkan varians sebesar . Mengapa? karena dengan memperkirakan , kami "menutup mata" pada beberapa variabilitas kesalahan yang ada dalam sampel, karena pada dasarnya kami memperkirakan nilai yang diharapkan. Selain itu, semakin besar penyimpangan pengamatan regressor dari sampel rata-rata regressor, $1/n$ varians dari residu yang terkait dengan pengamatan ini akan menjadi ... semakin pengamatan menyimpang, semakin sedikit menyimpang residu ... Ini adalah variabilitas dari regressor yang bekerja untuk kita, dengan "mengambil tempat" dari kesalahan yang tidak diketahui- variabilitas.

Tapi itu bagus untuk estimasi . Untuk prediksi , hal-hal yang sama berbalik melawan kita: sekarang, dengan tidak memperhitungkan, betapapun tidak sempurna, variabilitas dalam (karena kita ingin memprediksikannya), penaksir tidak sempurna kita yang diperoleh dari sampel menunjukkan kelemahan mereka: kami memperkirakan sampel berarti, kita tidak tahu nilai yang diharapkan benar-varians meningkat. Kami memiliki yang jauh dari mean sampel yang dihitung dari pengamatan lain -juga buruk, varians kesalahan prediksi kami mendapat dorongan lain, karena prediksi akan cenderung tersesat ... lebih bahasa ilmiah "prediktor optimal dalam arti mengurangi varians kesalahan prediksi, mewakili a $y^0$ $x^0$ $\hat y^0$ penyusutan terhadap rata-rata variabel berdasarkan prediksi ". Kami tidak mencoba untuk mereplikasi variabilitas variabel dependen -kami hanya mencoba untuk tetap" dekat dengan rata-rata ".

— Alecos Papadopoulos
sumber

Terima kasih atas jawaban yang sangat jelas! Saya senang bahwa "intuisi" saya benar.

— Eric

Alecos, saya benar-benar tidak berpikir ini benar.

— Glen_b -Reinstate Monica

@Alecos kesalahannya adalah dalam mengambil estimasi parameter untuk tidak berkorelasi dengan istilah kesalahan. Bagian ini: tidak benar.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b -Reinstate Monica

@ Eric, saya minta maaf karena telah menyesatkan Anda sebelumnya. Saya telah mencoba memberikan beberapa intuisi untuk kedua formula.

— Alecos Papadopoulos

+1 Anda dapat melihat mengapa saya melakukan kasus regresi berganda untuk ini ... terima kasih telah melakukan upaya ekstra untuk melakukan kasus regresi sederhana.

— Glen_b -Reinstate Monica

Maaf untuk jawaban yang agak singkat, mungkin terlalu abstrak dan kurang eksposisi intuitif yang diinginkan, tetapi saya akan mencoba untuk kembali dan menambahkan beberapa detail lagi nanti. Setidaknya itu pendek.

Diberi , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((saya - H) y) \\ = & (saya - H) Var (y) (saya - H)^{T} \\ = & σ^{2} (saya - H)^{2} \\ = & σ^{2} (saya - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Karenanya

Var (y_{saya} - {\hat{y}}_{saya}) = σ^{2} (1 - h_{saya saya})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

Dalam kasus regresi linier sederhana ... ini memberikan jawaban dalam pertanyaan Anda.

Jawaban ini juga masuk akal: karena berkorelasi positif dengan , varians perbedaannya harus lebih kecil dari jumlah varians. $\hat{y}_i$ $y_i$

Edit: Penjelasan mengapa adalah idempoten . $(I-H)$

(i) adalah idempoten: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Reinstate Monica
sumber

Ini adalah derivasi yang sangat bagus untuk kesederhanaannya, meskipun satu langkah yang tidak jelas bagi saya adalah mengapa . Mungkin ketika Anda sedikit memperluas jawaban Anda, seperti yang Anda rencanakan, Anda bisa mengatakan sesuatu tentang itu?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall

@Jake Menambahkan beberapa baris di akhir

— Glen_b -Reinstate Monica