Matriks varians-kovarians dari kesalahan dalam regresi linier

12

Bagaimana matriks kesalahan var / cov dihitung dengan paket analisis statistik dalam praktik?

Ide ini jelas bagi saya dalam teori. Tetapi tidak dalam praktik. Maksud saya, jika saya memiliki vektor variabel acak $\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$ , saya mengerti bahwa matriks varians / kovarian akan diberikan produk eksternal dari deviance-from-the -satu vektor: . $\Sigma$ $\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

Tetapi ketika saya memiliki sampel, kesalahan pengamatan saya bukan variabel acak. Atau lebih baik, tetapi hanya jika saya mengambil sejumlah sampel identik dari populasi yang sama. Kalau tidak, mereka diberikan. Jadi, sekali lagi pertanyaan saya adalah: bagaimana sebuah paket statistik dapat menghasilkan matriks var / cov mulai dari daftar pengamatan (yaitu sampel) yang disediakan oleh peneliti?

— Riccardo
sumber

Kesalahan pengamatan Anda adalah fungsi dari variabel acak (y) dan karena itu sendiri acak. Bersyarat pada X saja, mereka tidak diberikan.

— user603

1

Ya, saya sepenuhnya setuju akan hal itu. Tapi apa yang Anda katakan bekerja secara teori. Jika saya menggambar, katakanlah, 100 sampel acak dengan ukuran yang identik dari populasi yang sama, setiap kesalahan pengamatan akan menjadi variabel acak dengan (0, sigma ^ 2). Bagaimana jika, sebaliknya, saya hanya menggambar satu sampel? Dalam hal itu, rata-rata kesalahan dari setiap pengamatan adalah kesalahan itu sendiri. Apakah jelas apa yang saya katakan? Jadi, apa yang saya coba pahami adalah, bagaimana sebuah paket seperti Stata menghitung matriks varians-kovarian menggunakan hanya satu sampel yang diambil dari populasi?

— Riccardo

7

Matriks kovarians untuk model tipe biasanya dihitung sebagai $y = X\beta + \epsilon$ manaadalah jumlah sisa kotak,danadalah derajat kebebasan (biasanya jumlah pengamatan dikurangi jumlah parameter).

(X^{t} X)^{- 1} \frac{σ^{2}}{d}

$(X^t X)^{-1}\frac{\sigma^2}{d}$

σ^{2}

$\sigma^2$

σ^{2} = \sum_{i} (y_{i} - X_{i} \hat{β})^{2}

$\sigma^2=\sum_i (y_i - X_i\hat\beta)^2$

d

$d$

Untuk kesalahan standar yang kuat dan atau berkelompok, produk sedikit dimodifikasi. Mungkin juga ada cara lain untuk menghitung matriks kovarians, misalnya seperti yang disarankan oleh ekspektasi produk luar. $X^t X$

— Simen Gaure
sumber

3

Estimasi OLS untuk varian kesalahan , : $\sigma^2$

s^{2} = \frac{{\hat{ε}}^{⊤} \hat{ε}}{n - hal}

$s^2=\frac{\hat \varepsilon^\top\hat \varepsilon}{n-p}$

Ini termasuk dalam Regresi Praktis dan Anova menggunakan R oleh Julian J. Faraway, halaman 21 .

Contoh perhitungan di R, berdasarkan model linear mil per galon kemunduran pada beberapa spesifikasi model mobil termasuk dalam mtcarsbasis data: ols = lm(mpg ~ disp + drat + wt, mtcars). Ini adalah perhitungan manual dan output dari lm()fungsi:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

$\hat \beta$

V Sebuah r [\hat{β} ∣ X] = σ^{2} {(X^{⊤} X)}^{- 1}

$\mathrm{Var}\left[\hat \beta \mid X \right] =\sigma^2 \left(X^\top X\right)^{-1}$

diperkirakan seperti pada halaman 8 dokumen online ini sebagai

\hat{V Sebuah r} [\hat{β} ∣ X] = s^{2} {(X^{⊤} X)}^{- 1}

$\hat{\mathrm{Var}}\left[\hat \beta \mid X \right] =s^2 \left(X^\top X\right)^{-1}$

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605

— Antoni Parellada
sumber

2

$Y = \beta*X +\varepsilon$ $Y$ $X$ $\beta$ $X$ $Y$

— Rajiv Sambasivan
sumber

Hai Rajiv, terima kasih atas koreksinya. Jadi, dapatkah Anda menjelaskan bagaimana Stata (atau paket statistik lainnya), mulai dari Y (dan epsilon), berhasil menurunkan matriks varians-kovarians Sigma?

— Riccardo

\hat{e} {\hat{e}}^{'}

$\hat{e}\hat{e}'$

Setuju dengan user603. Silakan periksa halaman 21 dari cran.r-project.org/doc/contrib/Faraway-PRA.pdf . Ini didasarkan pada R tetapi termasuk diskusi yang baik tentang teori di balik regresi linier.

— Rajiv Sambasivan

Hai keduanya, terima kasih, pertama-tama. Saya juga setuju dengan Anda, user603, dan saya mengharapkan jawaban ini. Tetapi jika matriks var / cov dihitung dengan menghitung produk eksternal dari vektor kesalahan, ini berarti bahwa cov di antara komponen kesalahan dalam banyak kasus tidak akan menjadi nol seperti yang disiratkan oleh hipotesis independensi. Baik? Inilah yang saya ragukan. Rajiv, saya melihat ke panduan bagus yang Anda sarankan tetapi tidak bisa menemukan jawaban. Terima kasih sebelumnya atas balasan di masa depan.

— Riccardo