Cara alternatif untuk mendapatkan koefisien OLS

Dalam pertanyaan saya yang lain , seorang penjawab menggunakan derivasi koefisien OLS berikut:

Kami memiliki model: mana tidak teramati. Lalu kita punya:
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ manadan. $Plim {\hat{β}}_{1} = β_{1} + γ \frac{C Hai v (X_{1}^{*}, Z)}{V Sebuah r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Ini terlihat berbeda dari yang pernah saya lihat di Econometrics. Apakah ada eksposisi yang lebih eksplisit dari derivasi ini? Apakah ada nama untuk matriks? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— Heisenberg
sumber

Saya cukup yakin itu dijelaskan dalam catatan kuliah Hansen, tetapi saya tidak memilikinya di tangan saya sekarang.

— FooBar

The matriks adalah "anihilator-" atau "pembuat residual" matriks terkait dengan matriks . Ini disebut "annihilator" karena (untuk matriks sendiri tentu saja). Apakah disebut "pembuat residual" karena , dalam regresi . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

Ini adalah matriks simetris dan idempoten. Ini digunakan dalam bukti teorema Gauss-Markov.

Juga, ini digunakan dalam teorema Frisch-Waugh-Lovell , dari mana seseorang dapat memperoleh hasil untuk "regresi dipartisi", yang mengatakan bahwa dalam model (dalam bentuk matriks)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

kita punya itu

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Sejak adalah idempoten kita dapat menulis ulang di atas dengan $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

dan karena juga simetris yang kita miliki $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Tapi ini adalah estimator kuadrat-terkecil dari model

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

dan juga adalah residu dari kemunduran pada matriks saja. $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

Dengan kata lain: 1) Jika kita regresi pada matriks saja, dan kemudian mundur pada residual dari estimasi ini pada matriks saja, perkiraan kita akan mendapatkan akan matematis sama dengan perkiraan kami akan diperoleh jika kita mundur pada dan bersamaan pada saat yang sama, sebagai regresi berganda biasa. $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

Sekarang, anggap bukan matriks tetapi hanya satu regresi, katakan . Maka adalah residu dari kemunduran variabel pada matriks regresi . Dan ini memberikan intuisi di memberi kita efek yang "bagian dari yang terjelaskan oleh " telah di "bagian dari yang tersisa dijelaskan oleh ". $\mathbf X_1$ $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

Ini adalah bagian simbol dari Aljabar Least-Squares klasik.

— Alecos Papadopoulos
sumber

Mulai menjawab, tetapi saya memiliki banyak tumpang tindih dengan jawaban ini. Anda dapat menemukan banyak informasi ini di Bab 3.2.4 edisi ke-7 "Analisis Ekonometrik" oleh Bill Greene.

— cc7768

@ cc7768 Ya, itu sumber yang bagus untuk aljabar kuadrat-terkecil. Tapi jangan ragu untuk mengirim materi tambahan. Misalnya, pada dasarnya jawaban saya hanya mencakup pertanyaan kedua OP.

— Alecos Papadopoulos

@AlecosPapadopoulos Anda mengatakan bahwa jika kita mundur

pada

, kita juga mendapatkan

. Tetapi bukankah persamaannya mengatakan, kemunduran

pada

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

— Heisenberg

@ Heisenberg Benar. Salah ketik. Memperbaikinya, dan menambahkan sedikit lagi.

— Alecos Papadopoulos