Apakah residual, e, penduga kesalahan,

Pertanyaan ini muncul di utas lain yang saya mulai jadi saya pikir saya akan mendapatkan lebih banyak pendapat orang tentang itu. Pertanyaanku adalah

Apakah residual, e, penduga kesalahan, $\epsilon$?

Alasan yang saya tanyakan adalah sebagai berikut. Dalam OLS, varian dari residu,$\frac{\text{RSS}}{(n - K )}$, dikenal sebagai varian dari regresi (di mana RSS adalah jumlah kuadrat kuadrat). Demikian pula akar kuadrat dari varian ini,$\sqrt\frac{\text{RSS}}{(n - K )}$, adalah standar kesalahan regresi. Mengingat fakta bahwa akar kuadrat dari varians,$\frac{\text{RSS}}{(n - K )}$, adalah kesalahan standar, itu harus berarti bahwa varian ini adalah varian dari estimator. Kita sudah tahu bahwa itu adalah varian dari residual, oleh karena itu, residual adalah estimator ?? (Saya menganggap$\epsilon$)

Pikiran??

Tentu saja residu adalah semacam penduga$\epsilon$(agar lebih jelas, definisi residual adalah estimator, residual yang diamati adalah estimasi). Jika modelnya benar, maka kadang-kadang mereka mungkin merupakan estimasi yang cukup baik.

Memang

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$,

dimana $H = X(X'X)^{-1} X'$ adalah topi-matriks (karena 'memakai topi' $y$) - juga kadang-kadang disebut matriks proyeksi.

http://en.wikipedia.org/wiki/Hat_matrix

Itu adalah $e$Masing - masing adalah kombinasi linear dari $\epsilon$ini; jika$1-h_{ii}$ cukup besar dibandingkan dengan $\sum_{j\neq i}h_{ij}$ (jika $H$ adalah 'kecil' relatif terhadap I), maka sebagian besar berat berada di $i^\textrm{th}$ kesalahan (meskipun hal ini sering tidak terjadi).

Catat itu $e_i/\sqrt{1-h_{ii}}$ akan memiliki harapan dan varian yang sama dengan $\epsilon_i$dan jika elemen $H$ kecil , dengan cara yang baru saja dijelaskan, akan sangat berkorelasi dengan itu - pada kenyataannya, jika saya telah melakukan aljabar saya dengan benar, korelasi antara$e_i$ dan $\epsilon_i$ sebenarnya: $\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$.