Utilitas teorema Frisch-Waugh

Saya seharusnya mengajar teorema Frish Waugh di bidang ekonometrika, yang belum saya pelajari.

Saya telah memahami matematika di baliknya dan saya harap idenya juga "koefisien yang Anda dapatkan untuk koefisien tertentu dari model linier berganda sama dengan koefisien model regresi sederhana jika Anda" menghilangkan "pengaruh regressor lain". Jadi ide teoretis itu agak keren. (Jika saya salah paham, saya menerima koreksi)

Tetapi apakah ia memiliki beberapa penggunaan klasik / praktis?

EDIT : Saya telah menerima jawaban, tetapi saya masih ingin memiliki jawaban baru yang membawa contoh / aplikasi lain.

— Anthony Martin
sumber

Yang jelas akan ditambahkan plot variabel ?

— Silverfish

Pengantar Dougherty untuk Ekonometrika menyebutkan contoh lain menggunakan teorema Frisch-Waugh-Lovell. Pada hari-hari awal analisis ekonometrik dari deret waktu, itu cukup umum dalam model di mana variabel memiliki tren waktu deterministik untuk menurunkan mereka semua sebelum mundur. Tetapi dengan FWL, Anda mendapatkan koefisien yang sama hanya dengan memasukkan tren waktu sebagai regressor, dan terlebih lagi ini memberikan kesalahan standar "benar", karena ia mengakui bahwa 1 df telah dikonsumsi.

— Silverfish

Dougherty memang memperingatkan terhadap prosedur, jadi dalam hal itu itu bukan contoh yang bagus, meskipun itu adalah pelajaran. Variabel-variabel ekonomi sering kelihatannya sebagai perbedaan-stasioner daripada stasioner-tren, sehingga upaya detrending semacam ini tidak berhasil dan dapat menghasilkan regresi palsu.

— Silverfish

@Silverfish: FWL adalah teknik aljabar murni, jadi masalah apakah mengekstraksi tren deterministik adalah "benar" mengingat DGP yang mendasarinya tidak diragukan lagi penting, tetapi imho tidak terkait dengan FWL, jadi dalam hal itu contoh Anda adalah yang benar-benar valid untuk Pertanyaan OPs tentang dua cara untuk mendapatkan estimasi poin.

— Christoph Hanck

Saya telah mengeksploitasi hubungan ini di banyak posting, terutama untuk tujuan konseptual dan untuk memberikan contoh menarik dari fenomena regresi. Lihat, antara lain , stats.stackexchange.com/a/46508 , stats.stackexchange.com/a/113207 , dan stats.stackexchange.com/a/71257 .

— whuber

Jawaban:

Pertimbangkan model data panel efek tetap, juga dikenal sebagai model Least Squares Dummy Variables (LSDV).

dapat dihitung dengan langsung menerapkan OLS ke model mana adalahmatriks dari boneka dan mewakili efek tetap spesifik-individu. $b_{LSDV}$

y = X β + D α + ϵ,

$y=X\beta+D\alpha+\epsilon,$

D

$D$

N T \times N

$NT\times N$

α

$\alpha$

Cara lain untuk menghitung adalah dengan menerapkan apa yang disebut dalam transformasi ke model biasa untuk mendapatkan versi yang direndahkan, yaitu Di sini, , matriks pembuat residu dari regresi pada $b_{LSDV}$

{M.}_{[D]} y = {M.}_{[D]} X β + {M.}_{[D]} ϵ .

$M_{[D]}y=M_{[D]}X\beta+M_{[D]}\epsilon.$

M_{[D]} = I - D (D^{'} D)^{- 1} D^{'}

$M_{[D]}=I-D(D'D)^{-1}D'$

D

$D$

Dengan teorema Frisch-Waugh-Lovell, keduanya setara, sebagai FWL mengatakan bahwa Anda dapat menghitung subset dari koefisien regresi dari regresi (di ) dengan $\hat\beta$

regresi pada regresi lain (di sini, ), menyimpan residu (di sini, waktu-direndahkan atau , karena regresi pada konstanta hanya merendahkan variabel), kemudian $y$ $D$ $y$ $M_{[D]}y$
mundur pada dan menyimpan residu , dan $X$ $D$ $M_{[D]}X$
kemunduran residual ke satu sama lain, pada . $M_{[D]}y$ $M_{[D]}X$

Versi kedua jauh lebih banyak digunakan, karena set data panel tipikal mungkin memiliki ribuan unit panel , sehingga pendekatan pertama akan mengharuskan Anda untuk menjalankan regresi dengan ribuan regressor, yang bukan ide yang baik secara numerik bahkan saat ini dengan cepat komputer, seperti menghitung kebalikan dari akan sangat mahal, sedangkan dan merendahkan waktu adalah sedikit biaya. $N$ $(D :X)'(D: X)$ $y$ $X$

— Christoph Hanck
sumber

Terima kasih banyak, ini adalah jenis jawaban yang saya cari, meskipun agak maju bagi saya untuk benar-benar menggunakannya. Jadi jawaban Anda baik-baik saja dengan saya, tetapi saya akan senang jika saya memiliki yang lain, apakah saya harus menerima jawaban Anda?

— Anthony Martin

Jika itu membantu, akan lebih tepat untuk melakukannya. Tetapi menerima akan mengurangi peluang Anda untuk mendapatkan jawaban yang lebih baik, jadi Anda dapat mempertimbangkan untuk menunggu sebelum menerima jawaban ini. Hadiah akan semakin meningkatkan peluang Anda untuk mendapatkan lebih banyak jawaban - mengingat bahwa tidak ada cukup banyak pengguna di CV yang secara teratur menjawab pertanyaan dengan jumlah pertanyaan, bahkan satu jawaban dapat mengarahkan pengguna aktif lainnya untuk menyimpulkan bahwa pertanyaan telah ditangani. (Saya memposting jawaban yang agak sederhana di bawah ini.)

— Christoph Hanck

Ini adalah versi sederhana dari jawaban pertama saya, yang menurut saya kurang relevan secara praktis, tetapi mungkin lebih mudah untuk "dijual" untuk penggunaan di ruang kelas.

Regresi dan

y_{saya} = β_{1} + \sum_{j = 2}^{K} β_{j} x_{saya j} + ϵ_{saya}

$y_i = \beta_1 + \sum_{j=2}^K\beta_jx_{ij} + \epsilon_i$

menghasilkan identik

y_{saya} - \bar{y} = \sum_{j = 2}^{K} β_{j} (x_{saya j} - {\bar{x}}_{j}) + {\tilde{ϵ}}_{saya}

$y_i-\bar{y} = \sum^K_{j=2}\beta_j(x_{ij} - \bar{x}_j) + \tilde{\epsilon}_i$

{\hat{β}}_{j}

$\widehat{\beta}_j$

. Ini dapat dilihat sebagai berikut: ambil

dan karenanya

j = 2, \dots, K

$j=2,\ldots,K$

x_{1} = 1 := (1, \dots, 1)^{'}

$\mathbf{x}_1=\mathbf{1}:=(1,\ldots,1)'$

sehingga

Oleh karena itu, residu dari regresi variabel pada konstanta,

, hanyalah variabel yang direndahkan (logika yang sama tentu saja berlaku untuk

M_{1} = I - 1 (1^{'} 1)^{- 1} 1^{'} = I - \frac{1 1^{'}}{n},

$M_\mathbf{1}=I-\mathbf{1}(\mathbf{1}'\mathbf{1})^{-1}\mathbf{1}'=I-\frac{\mathbf{1}\mathbf{1}'}{n},$

M_{1} x_{j} = x_{j} - 1 n^{- 1} 1^{'} x_{j} = x_{j} - 1 {\bar{x}}_{j} =: x_{j} - {\bar{x}}_{j} .

$M_{\mathbf{1}}\mathbf{x}_j=\mathbf{x}_j-\mathbf{1} n^{-1}\mathbf{1}'\mathbf{x}_j=\mathbf{x}_j-\mathbf{1}\bar{x}_j=:\mathbf{x}_j-\bar{\mathbf{x}}_j.$

M_{1} x_{j}

$M_{\mathbf{1}}\mathbf{x}_j$

y_{i}

$y_i$

— Christoph Hanck
sumber

Ini adalah satu lagi, lebih tidak langsung, tetapi saya percaya satu yang menarik, yaitu hubungan antara pendekatan yang berbeda untuk menghitung koefisien autokorelasi parsial dari suatu seri waktu stasioner.

Definisi 1

{\hat{Y}}_{t} - μ = α_{1}^{(m)} (Y_{t - 1} - μ) + α_{2}^{(m)} (Y_{t - 2} - μ) + \dots + α_{m}^{(m)} (Y_{t - m} - μ)

$\begin{equation} \hat{Y}_{t}-\mu=\alpha^{(m)}_1(Y_{t-1}-\mu)+\alpha^{(m)}_2(Y_{t-2}-\mu)+\ldots+\alpha^{(m)}_m(Y_{t-m}-\mu) \end{equation}$

m

$m$

α_{m}^{(m)}

$\alpha^{(m)}_m$

$m$ $Y_t$ $Y_{t-1},\ldots,Y_{t-m+1}$ $\rho_m$ $Y_t$ $Y_{t-m}$

$\alpha^{(m)}_j$ $Z_t$ $X_t$

E [X_{t} (Z_{t} - X_{t}^{⊤} α^{(m)})] = 0

$\begin{equation} E[X_t(Z_t-X_t^\top\mathbf{\alpha}^{(m)})]=0 \end{equation}$

α^{(m)}

$\mathbf{\alpha}^{(m)}$

α^{(m)} = [E (X_{t} X_{t}^{⊤})]^{- 1} E [X_{t} Z_{t}]

$\begin{equation} \mathbf{\alpha}^{(m)}=[E(X_tX_t^\top)]^{-1}E[X_tZ_t] \end{equation}$ Applying this formula to

Z_{t} = Y_{t} - μ

$Z_t=Y_t-\mu$ and

X_{t} = [(Y_{t - 1} - μ), (Y_{t - 2} - μ), \dots, (Y_{t - m} - μ)]^{⊤}

$X_t=[(Y_{t-1}-\mu),(Y_{t-2}-\mu),\ldots,(Y_{t-m}-\mu)]^\top$ we have

E (X_{t} X_{t}^{⊤}) = (\begin{array}{cccc} γ_{0} & γ_{1} & \dots & γ_{m - 1} \\ γ_{1} & γ_{0} & \dots & γ_{m - 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ γ_{m - 1} & γ_{m - 2} & \dots & γ_{0} \end{array})

$E(X_tX_t^\top)=\left(\begin{array}{cccc} \gamma_{0} & \gamma_{1}&\cdots& \gamma_{m-1}\\ \gamma_{1}& \gamma_{0} & \cdots &\gamma_{m-2}\\ \vdots & \vdots & \ddots &\vdots\\ \gamma_{m-1}&\gamma_{m-2} & \cdots & \gamma_{0}\\ \end{array} \right)$ Also,

E (X_{t} Z_{t}) = (\begin{matrix} γ_{1} \\ ⋮ \\ γ_{m} \end{matrix})

$E(X_tZ_t)=\left( \begin{array}{c} \gamma_1 \\ \vdots \\ \gamma_m \\ \end{array} \right)$ Hence,

α^{(m)} = {(\begin{array}{cccc} γ_{0} & γ_{1} & \dots & γ_{m - 1} \\ γ_{1} & γ_{0} & \dots & γ_{m - 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ γ_{m - 1} & γ_{m - 2} & \dots & γ_{0} \end{array})}^{- 1} (\begin{matrix} γ_{1} \\ ⋮ \\ γ_{m} \end{matrix})

$\begin{equation} \mathbf{\alpha}^{(m)}=\left(\begin{array}{cccc} \gamma_{0} & \gamma_{1}&\cdots& \gamma_{m-1}\\ \gamma_{1}& \gamma_{0} & \cdots &\gamma_{m-2}\\ \vdots & \vdots & \ddots &\vdots\\ \gamma_{m-1}&\gamma_{m-2} & \cdots & \gamma_{0}\\ \end{array} \right)^{-1}\left( \begin{array}{c} \gamma_1 \\ \vdots \\ \gamma_m \\ \end{array} \right)\end{equation}$ The

m

$m$ th partial correlation then is the last element of the vector

α^{(m)}

$\mathbf{\alpha}^{(m)}$ .

So, we sort of run a multiple regression and find one coefficient of interest while controlling for the others.

Definition 2

The $m$ th partial correlation is the correlation of the prediction error of $Y_{t+m}$ predicted with $Y_{t-1},\ldots,Y_{t-m+1}$ with the prediction error of $Y_{t}$ predicted with $Y_{t-1},\ldots,Y_{t-m+1}$ .

So, we sort of first control for the intermediate lags and then compute the correlation of the residuals.

— Christoph Hanck
sumber