Cara mendapatkan matriks varians-kovarians dari koefisien dalam regresi linier

Saya membaca buku tentang regresi linier dan mengalami kesulitan memahami matriks varians-kovarians dari :$\mathbf{b}$

Item diagonal cukup mudah, tetapi item off-diagonal sedikit lebih sulit, yang membingungkan saya adalah

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

tetapi tidak ada jejak $\beta_0$ dan $\beta_1$ sini.

Ini sebenarnya pertanyaan keren yang menantang pemahaman dasar Anda tentang regresi.

Pertama, keluarkan semua kebingungan awal tentang notasi. Kami melihat regresi:

$$y=b_0+b_1x+\hat{u}$$

di mana dan adalah penaksir dan , dan adalah residu dari regresi. Perhatikan bahwa regresi yang benar dan tidak dilindungi yang mendasarinya dengan demikian dilambangkan sebagai:$b_0$$b_1$$\beta_0$$\beta_1$u$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

Dengan harapan dan varians . Beberapa buku menyatakan sebagai dan kami mengadaptasi konvensi ini di sini. Kami juga menggunakan notasi matriks, di mana b adalah vektor 2x1 yang menahan penaksir , yaitu . (Juga demi kejelasan, saya memperlakukan X sebagaimana ditetapkan dalam perhitungan berikut.)$E[u]=0$$E[u^2]=\sigma^2$$b$β β = [ β 0 , ß 1 ]$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Sekarang untuk pertanyaan Anda. Formula Anda untuk kovarians memang benar, yaitu:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Saya pikir Anda ingin tahu mengapa kami memiliki koefisien yang tidak teramati yang sebenarnya dalam rumus ini? Mereka benar-benar dibatalkan jika kita mengambil langkah lebih jauh dengan memperluas formula. Untuk melihat ini, perhatikan bahwa varians populasi estimator diberikan oleh:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Matriks ini menyimpan varian dalam elemen diagonal dan kovarian pada elemen off-diagonal.

Untuk sampai pada rumus di atas, mari generalisasi klaim Anda dengan menggunakan notasi matriks. Karena itu marilah kita menunjukkan varians dengan dan harapan dengan .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

Pada dasarnya kami memiliki rumus varian umum, hanya menggunakan notasi matriks. Persamaan diselesaikan ketika mengganti dalam ekspresi standar untuk estimator . Juga asumsikan merupakan penaksir yang tidak bias. Oleh karena itu, kami memperoleh:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Perhatikan bahwa kita memiliki di sisi kanan - 2x2 matriks, yaitu , tetapi Anda mungkin sudah menebak apa yang akan terjadi dengan istilah ini segera.$\beta^2$$bb'$

Mengganti dengan ekspresi kami untuk proses pembuatan data mendasar yang sebenarnya di atas, kami memiliki:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

karena . Lebih lanjut, istilah kuadrat dibatalkan seperti yang diharapkan.$E[u]=0$$\beta^2$

Jadi kita memiliki:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

Dengan linearitas harapan. Perhatikan bahwa dengan asumsi dan karena adalah matriks simetrik dan dengan demikian sama dengan transposnya. Akhirnya kami tiba di$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Sekarang kita menyingkirkan semua istilah . Secara intuitif, varians estimator tidak tergantung pada nilai koefisien yang mendasari benar, karena ini bukan variabel acak per se. Hasilnya berlaku untuk semua elemen individu dalam matriks kovarians varians seperti yang ditunjukkan dalam buku sehingga juga berlaku untuk elemen diagonal off juga dengan untuk membatalkan masing-masing. Satu-satunya masalah adalah Anda telah menerapkan rumus umum untuk varian yang tidak mencerminkan pembatalan ini pada awalnya.$\beta$$\beta_0\beta_1$

Pada akhirnya, varian koefisien berkurang menjadi dan independen dari . Tapi apa artinya ini? (Saya yakin Anda juga meminta pemahaman yang lebih umum tentang matriks kovarians umum)$\sigma^2(X'X)^{-1}$$\beta$

Lihatlah formula dalam buku ini. Ini hanya menegaskan bahwa varians dari penaksir meningkat ketika istilah kesalahan mendasar yang sebenarnya lebih berisik ( meningkat), tetapi menurun ketika penyebaran X meningkat. Karena memiliki lebih banyak pengamatan yang tersebar di sekitar nilai sebenarnya, memungkinkan Anda secara umum membuat estimator yang lebih akurat dan dengan demikian lebih dekat dengan true . Di sisi lain, istilah kovarian pada off-diagonal menjadi relevan secara praktis dalam pengujian hipotesis hipotesis gabungan seperti . Selain itu, mereka sedikit fudge, sungguh. Semoga ini menjelaskan semua pertanyaan.$\sigma^2$ β b 0 = b 1 = 0$\beta$$b_0=b_1=0$

Dalam kasus Anda, kami punya

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Balikkan matriks ini dan Anda akan mendapatkan hasil yang diinginkan.

Tampaknya adalah nilai yang diprediksi (nilai yang diharapkan). Mereka beralih antara dan .$\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$