OLS: dalam persamaan 1 bias kesalahan standar dalam persamaan ke-2?

Misalkan adalah deret waktu dengan , ( dan - mirip dengan itu untuk , tetapi berubah ketika dummy = 1). dan , . Dalam pengaturan dunia nyata ini akan menjadi pengembalian pasar saham berkala atas perusahaan (tetapi Anda dapat mengabaikan ini). Ada dummy, yang sama dengan unity over dan sama dengan nol jika tidak. Model deret waktu yang diperkirakan dengan OLS adalah: ${X_{it}},{Y_{it}}$ $X_{it}\sim N(0.1,1)$ $\sigma^2(Y_{it}) = 1$ $mean(Y_{it})$ $X_{it}$ $t \in \{1,2,...,200\}$ $i \in \{1,2,...,N\}$ $N$ $D_t$ $t \in \{150,151,...,200\}$ $\forall i$

$(1) Y_{it} = \alpha_i + \beta_i X_{it} + \gamma_i D_{t} + \epsilon_{it}$

Model ini umumnya mengikuti asumsi Gauss-Markov untuk setiap . Namun, kami memiliki untuk semua dan . $i$ $E[\epsilon_{it}^T \epsilon_{jt}] \not= 0$ $i$ $j$

Langkah selanjutnya adalah membangun vektor gammas menggunakan estimasi model . Panggil vektor ini . Kami kemudian menggunakan ini dalam model cross-sectional: $N$ $(1)$ $\bf{\hat{\gamma}}$

$(2) \hat{\gamma}_i = a + b Z_i + u_i$

di mana adalah beberapa variabel cross-sectional yang tidak menyebabkan pelanggaran dalam asumsi OLS dan relevan untuk menjelaskan . $Z_i$ $\hat{\gamma}_i$

Klaim dalam literatur ekonometrik yang diterapkan adalah bahwa dalam model mengarah ke (i) mengarah ke (i) Tidak ada masalah untuk estimasi koefisien OLS dalam , tetapi (ii) Bias kesalahan standar dalam . $E[\epsilon_{it}^T \epsilon_{jt}] \not= 0$ $(1)$ $(2)$ $(2)$

Dapatkah seseorang mem-posting ide tentang mengapa hal ini terjadi?
Saya tidak mengerti apa yang dalam ekspresi . Tentu saja adalah skalar dan Anda tidak dapat mengubah skalar. Ini terlihat di SINI , di mana mereka menerapkan metodologi ini. $\epsilon_{it}^T$ $E[\epsilon_{it}^T \epsilon_{jt}] \not= 0$ $\epsilon_{it}$

Anda mengatakan bahwa Anda tidak mengerti mengapa estimasi varians bias dalam persamaan 2 dan kemudian Anda mengatakan bahwa kami dapat mengabaikan estimasi yang merupakan persamaan 2? Saya pikir saya mengerti apa yang Anda maksud dan bisa memberikan jawaban spekulatif untuk itu tetapi akan lebih baik bagi Anda untuk menjawab pertanyaan Anda.

γ

$\gamma$

— JDav

Dalam pengaturan Anda, tidak boleh stasioner, karena artinya tergantung pada .

Y_{i t}

$Y_{it}$

t

$t$

— mpiktas

Ada tiga versi harapan (satu di judul, yang lain di tubuh, dan yang ketiga di komentar). Semuanya menggabungkan transpose misterius meskipun dalam semua kasus hanya skalar yang hadir. Apakah Anda keberatan mengedit posting untuk diklarifikasi?

— kardinal

@mpiktas Pengamatan yang benar, memiliki rata-rata yang berbeda setelah (diberikan ). Terima kasih.

Y_{i t}

$Y_{it}$

t = 150

$t=150$

γ_{i} \neq 0

$\gamma_i \not= 0$

Beberapa jawaban yang baik telah disampaikan - Saya hanya ingin menambahkan bahwa ini perlu diperkirakan sebagai model koefisien acak (alias model bertingkat untuk sosiolog dan psikolog, alias model campuran untuk ahli biostatistik). Jika para ekonom tidak mengetahui hal ini, dan memperkirakannya dengan prosedur dua langkah, itu terlalu buruk bagi mereka (dan saya masih menunggu kesalahan standar Fama-Macbeth untuk mati, yang tampaknya tidak ingin mereka lakukan).

— Tugas

Jawaban:

Untuk memastikan Anda perlu masuk ke detail, ini berarti membandingkan matriks kovarians varians yang sebenarnya dengan yang Anda dapatkan di tahap ols kedua.

Yang benar :

Ini dapat diperoleh dengan mengganti eq.2 menjadi eq.1, OLS yang dikumpulkan mengikuti, dan dari itu, yang benar $\hat a , \hat b$ matriks varians kovarians:

$Y_{it} = \alpha_i + \beta_i X_{it} + aD_t + bD_tZ_{i} +D_t u_{i} + \epsilon_{it}$

Menggunakan notasi matriks untuk membagi persamaan dalam $\gamma$ parameter dan lainnya mengarah ke:

$Y = X\theta + Z\gamma + \varepsilon$

di mana kami tertarik $V(\hat \gamma)$ , $\gamma=[a \; b]$ , Z adalah vektor dua kolom $Z=[D_t \; D_tZ_i]_{[i=1,..,N;t=1,...,T]}$ (struktur serupa mendefinisikan X tetapi ini tidak menarik) dan di mana $V(\varepsilon) =\Sigma$ memiliki struktur penuh antara kovarian perusahaan sehingga tidak diagonal ( $\sigma^2I_{NT}$ ) seperti dalam asumsi GAUSS-MARKOV. Dengan Frish-Waugh kami dapat mengekspresikan $\gamma$ ols sebagai:

$\hat \gamma = (Z'M_{X}Z)^{-1}Z'M_{X}Y$ dimana $M_X= I-X(X'X)^{-1}X'$

yang menyiratkan varian sebenarnya berikut:

$V(\hat \gamma) = H\Sigma H'$ dimana $H = (Z'M_{X}Z)^{-1}Z'M_{X}$

Yang lain

Di bawah asumsi perusahaan yang tidak berkorelasi (dan periode waktu tetapi ini bukan masalahnya), $\Sigma$ memiliki struktur diagonal yang lebih sederhana $\Delta$ . Ini artinya $\Delta$ istilah segitiga adalah 0. Di bawah spesifikasi yang lebih sederhana, (yang diperkirakan secara default oleh perangkat lunak ekonometrik dan statistik untuk OLS) $\Sigma$ mengikuti asumsi GAUSS-Markov yang berarti bahwa bahkan istilah diagonal sama dengan demikian $\Sigma$ diturunkan menjadi $\sigma^2I$

Ini menyiratkan bahwa tidak mempertimbangkan korelasi antar perusahaan akan menyebabkan $V(\hat\gamma)$ sebagai:

$V(\hat \gamma) = H\Delta H'$ atau $V(\hat \gamma) = H\sigma^2I H' \equiv \sigma^2(Z'M_xZ)^{-1}$

yang, seperti dapat dilihat, tidak sama dengan yang sebenarnya.

— JDav
sumber

Dengan kata-kata yang berbeda .. Saya pada dasarnya memberikan jawaban yang sama @mpiktas memberi

— JDav

(1) Sangat fantastis. (2) Sepertinya Anda telah mengabaikannya

D_{i} u_{i}

$D_i u_i$ ketika Anda menyatakan model dalam bentuk matriks? Ini seharusnya tidak mengubah apa pun yang telah Anda lakukan. (3) Apakah Anda tahu mengapa Portofolio OLS memberikan SES yang benar? (Lihat kertas 1986 yang saya tautkan). Jangan repot-repot dengan jawaban (3) jika Anda tidak suka mencari tahu masalah itu.

(2) Saya tidak meletakkan semua definisi untuk membiarkan beberapa intuisi dan untuk menghindari produk kronecker ... dengan cara ini demo berjalan "lebih cepat". Tetapi Anda dapat menyimpulkan bahwa istilah acak yang baru adalah

ε_{i t} = D_{t} u_{i} + ϵ_{i t}

$\varepsilon_{it} = D_tu_i + \epsilon_{it}$ , ini berarti bahwa jika perusahaan dikorelasikan oleh

u_{i}

$u_i$ maka ini menyebabkan istilah acak baru

ε_{i t}

$\varepsilon_{it}$ untuk dikorelasikan pada dimensi perusahaannya juga. (3) tidak mendengar tentang portofolio OLS, tapi saya rasa itu hanya nama lain untuk sesuatu yang sudah ada di ekonometrika standar untuk del dengan matriks Var penuh, seperti WLS, atau

— Robs

(3) estimasi yang baik mengimplikasikan suatu yang baik

Σ

$\Sigma$ memperkirakan, portofolio OLS entah bagaimana memperkirakan struktur penuh

Σ

$\Sigma$ dan bukan hanya varian tanpa kovarian:

Δ

$\Delta$ atau varian tunggal:

σ^{2}

$\sigma^2$

— JDav

Saya pikir notasi ini tidak lengkap, ia menggunakan skalar di mana vektor diperlukan untuk merujuk pada fakta bahwa antara perusahaan kovarian tidak nol sehingga notasinya menyiratkan

ϵ_{i t} = [ϵ_{i t}]_{i = 1, . . ., N}

$\epsilon_{it} = [\epsilon_{it}]_{i=1,...,N}$ adalah vektor baris N. Interpretasi lain adalah yang dia maksud

i j

$ij$ elemen dari

ϵ_{. t}^{T} ϵ_{. t}

$\epsilon_{.t}^T\epsilon_{.t}$ . Dalam kedua kasus, ia memiliki maksud yang sama, tetapi karena itu bukan ambiguitas jurnal kuantitatif dalam notasi matematika terjadi ...

— JDav

Saya memberikan jawaban lain dengan lebih detail.

Dalam model regresi linier standar (dalam bentuk matriks):

Y = X β + ε

$Y=X\beta+\varepsilon$

Estimasi OLS adalah sebagai berikut

\hat{β} = (X^{T} X)^{- 1} X^{T} Y .

$\hat\beta=(X^TX)^{-1}X^TY.$

Perbedaannya adalah

V a r (\hat{β}) = (X^{T} X)^{- 1} X^{T} V a r (Y) X (X^{T} X)^{- 1} .

$Var(\hat\beta)=(X^TX)^{-1}X^TVar(Y)X(X^TX)^{-1}.$

Asumsi biasa untuk regresi adalah itu

V a r (Y) = σ^{2} I,

$Var(Y)=\sigma^2I,$

dimana $I$ adalah matriks identitas. Kemudian

V a r (\hat{β}) = σ^{2} (X^{T} X)^{- 1} .

$Var(\hat\beta)=\sigma^2(X^TX)^{-1}.$

Sekarang dalam kasus Anda, Anda memiliki dua model:

Y_{i} = M_{i} δ_{i} + ϵ_{i}

$Y_{i}=M_i\delta_i+\epsilon_i$

dan

Γ = L c + u,

$\Gamma=Lc+u,$

dimana

$Y_i^T=(Y_{i1},...,Y_{iT})$ ,
$M_i=[1,X_i,D]$ , dengan $X_i^T=(X_{i1},...,X_{iT})$ , $D^T=(D_1,...,D_T)$
$\delta_i^T=(\alpha_i,\beta_i,\gamma_i)$
$\epsilon_i^T=(\epsilon_{i1},...,\epsilon_{iT})$
$\Gamma^T=(\gamma_1,...,\gamma_n)$
$L=[1,Z]$ , dengan $Z^T=(Z_1,...,Z_n)$
$c^T=(a,b)$
$u^T=(u_1,...,u_N)$ .

Perhatikan bahwa Anda menyatakan model kedua untuk perkiraan dari $\gamma$ , yang tidak biasa, maka saya menyatakan kembali dalam bentuk biasa, untuk "benar" $\gamma$ .

Mari kita tuliskan matriks kovarians untuk estimasi koefisien OLS $c$ :

V a r (\hat{c}) = (L^{T} L)^{- 1} L^{T} V a r (Γ) L (L^{T} L)^{- 1}

$Var(\hat{c})=(L^TL)^{-1}L^TVar(\Gamma)L(L^TL)^{-1}$

Masalahnya adalah bahwa kita tidak memperhatikan $\Gamma$ . Kami mengamati taksiran $\hat\Gamma$ . $\hat\gamma_i$ adalah bagian dari vektor

{\hat{δ}}_{i} = δ_{i} + (M_{i}^{T} M_{i})^{- 1} M_{i}^{T} ϵ_{i} .

$\hat\delta_i=\delta_i+(M_i^TM_i)^{-1}M_i^T\epsilon_i.$

Asumsikan bahwa $\delta_i$ bersifat acak dan independen dengan $\epsilon_i$ dan $M_i$ . Ini tentu berlaku untuk $\gamma_i$ jadi kami tidak kehilangan apa pun jika kami memperluas ini untuk elemen lain dari $\delta_i$ .

Mari kita susun semua $\hat\delta_i$ di atas satu sama lain:

{\hat{δ}}^{T} = [δ_{1}^{T}, . . ., δ_{N}^{T}]

$\hat\delta^T=[\delta_1^T,...,\delta_N^T]$

dan menjelajahi varians dari $\hat\delta$ :

V a r (\hat{δ}) = [\begin{matrix} V a r ({\hat{δ}}_{1}) & c o v ({\hat{δ}}_{1}, {\hat{δ}}_{2}) & \dots & c o v ({\hat{δ}}_{1}, {\hat{δ}}_{N}) \\ \dots & \dots & \dots & \dots \\ c o v ({\hat{δ}}_{n}, {\hat{δ}}_{1}) & c o v ({\hat{δ}}_{n}, δ_{2}) & \dots & V a r ({\hat{δ}}_{N}) \end{matrix}]

$Var(\hat\delta)=\begin{bmatrix} Var(\hat\delta_1) & cov(\hat\delta_1,\hat\delta_2) & \dots & cov(\hat\delta_1,\hat\delta_N)\\ \dots & \dots & \dots & \dots\\ cov(\hat\delta_n,\hat\delta_1) & cov(\hat\delta_n,\delta_2) & \dots & Var(\hat\delta_N) \end{bmatrix}$

Asumsikan bahwa $Var(\epsilon_i)=\sigma^2_\epsilon I$ dan itu $E\epsilon_i\epsilon_j^T=0$ . Untuk $i\neq j$ kita punya

\begin{aligned} c o v ({\hat{δ}}_{i}, {\hat{δ}}_{j}) & = c o v (δ_{i}, δ_{j}) + c o v ((M_{i}^{T} M_{i})^{- 1} M_{i}^{T} ϵ_{i}, (M_{j}^{T} M_{j})^{- 1} M_{j}^{T} ϵ_{j}) \\ = (M_{i}^{T} M_{i})^{- 1} M_{i}^{T} E (ϵ_{i} ϵ_{j}^{T}) M_{j} (M_{j}^{T} M_{j})^{- 1} \\ = 0 \end{aligned}

$\begin{align} cov(\hat\delta_i,\hat\delta_j)&=cov(\delta_i,\delta_j)+cov((M_i^TM_i)^{-1}M_i^T\epsilon_i,(M_j^TM_j)^{-1}M_j^T\epsilon_j)\\ &=(M_i^TM_i)^{-1}M_i^TE(\epsilon_i\epsilon_j^T)M_j(M_j^TM_j)^{-1}\\ &=0 \end{align}$

Untuk elemen diagonal yang kita miliki

V a r ({\hat{δ}}_{i}) = V a r (δ_{i}) + σ_{ϵ}^{2} (M_{i}^{T} M_{i})^{- 1}

$Var(\hat\delta_i)=Var(\delta_i)+\sigma_\epsilon^2(M_i^TM_i)^{-1}$

Mari kita kembali ke varian $\hat c$ . Karena kita gantikan $\hat\Gamma$ dari pada $\Gamma$ variansnya adalah sebagai berikut

V a r (\hat{c}) = (L^{T} L)^{- 1} L^{T} V a r (\hat{Γ}) L (L^{T} L)^{- 1},

$Var(\hat{c})=(L^TL)^{-1}L^TVar(\hat\Gamma)L(L^TL)^{-1},$

Kita bisa mengekstrak $Var(\hat\Gamma)$ dari $Var(\hat\delta)$ dengan memilih elemen yang sesuai:

V a r (\hat{Γ}) = V a r (Γ) + d i a g (g_{1}, . . ., g_{n})

$Var(\hat\Gamma)=Var(\Gamma)+diag(g_1,...,g_n)$

dimana $g_i$ adalah elemen dari $\sigma_\epsilon^2(M_i^TM_i)^{-1}$ sesuai dengan $Var(\hat\gamma_i)$ . Setiap $g_i$ berbeda dengan $g_j$ karena mereka sesuai dengan yang berbeda $X_{it}$ dan $X_{jt}$ yang tidak dianggap sama.

Jadi kita mendapatkan hasil yang mengejutkan, bahwa secara aljabar bahkan jika kita mengasumsikan semua sifat yang diperlukan, matriks kovarians yang dihasilkan setidaknya secara aljabar tidak akan sama dengan matriks kovarians OLS biasa, karena untuk itu kita memerlukan itu $Var(\hat\Gamma)$ adalah matriks identitas waktu konstan yang jelas tidak.

Semua rumus di atas diturunkan dengan asumsi itu $X_{ij}$ konstan, sehingga mereka tergantung pada $X_{ij}$ . Ini berarti kita benar-benar menghitung $Var(\hat\Gamma|X)$ . Dengan menempatkan asumsi tambahan $X_{ij}$ , Saya pikir akan mungkin untuk menunjukkan bahwa varian tanpa syarat adalah OK.

Asumsi independensi ditempatkan pada $\epsilon_i$ bisa juga santai untuk tidak berkorelasi.

Juga dimungkinkan untuk menggunakan studi simulasi untuk melihat bagaimana perbedaan matriks kovarians jika kita gunakan $\hat\Gamma$ dari pada $\Gamma$ .

— mpiktas
sumber

Saya pikir masalahnya terletak pada definisi model kedua. Saya pikir diasumsikan demikian

γ_{i} = a + b Z_{i} + u_{i}

$\gamma_i=a+bZ_i+u_i$

dengan asumsi biasa itu

c o v (γ_{i}, γ_{j} | Z_{1}, . . ., Z_{N}) = 0,

$cov(\gamma_i,\gamma_j|Z_1,...,Z_N)=0,$

yaitu bahwa $\gamma_i$ tidak berkorelasi jika kita mengendalikan $Z_i$ . Sekarang ketika Anda mengganti $\hat{\gamma}$ dari pada $\gamma$ , Anda perlu memeriksa apakah asumsi tersebut berlaku, yaitu jika

c o v (\hat{γ_{i}}, {\hat{γ}}_{j} | Z_{i}) = 0.

$cov(\hat{\gamma_i},\hat{\gamma}_j|Z_i)=0.$

Sekarang

{\hat{γ}}_{i} = γ_{i} + L (ϵ_{i t}),

$\hat{\gamma}_i=\gamma_i+L(\epsilon_{it}),$

dimana $L$ adalah beberapa fungsi linear. Aman untuk mengasumsikan itu $\epsilon_{it}$ independen dari $Z_i$ , tapi jika $E\epsilon_{it}\epsilon_{jt}\neq0$ , asumsi yang diperlukan tidak berlaku.

Karena asumsi tidak berkorelasi adalah penting untuk perhitungan statistik OLS biasa, ini memberikan alasan mengapa kesalahan standar bias.

Ini adalah garis besar kasar, tapi saya pikir ide itu akan berhasil jika Anda akan masuk ke rincian sepele mesin OLS.

— mpiktas
sumber