Mengapa estimator OLS untuk koefisien AR (1) bias?

Saya mencoba memahami mengapa OLS memberikan penduga yang bias dari proses AR (1). Pertimbangkan Dalam model ini, eksogenitas ketat dilanggar, yaitu dan berkorelasi tetapi dan tidak berkorelasi. Tetapi jika ini benar, lalu mengapa derivasi sederhana berikut tidak berlaku?

\begin{aligned} y_{t} & = α + β y_{t - 1} + ϵ_{t}, \\ ϵ_{t} & \overset{i i d}{\sim} N (0, 1) . \end{aligned}

$\begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} &\stackrel{iid}{\sim} N(0,1). \end{aligned}$

y_{t}

$y_t$

ϵ_{t}

$\epsilon_t$

y_{t - 1}

$y_{t-1}$

ϵ_{t}

$\epsilon_t$

\begin{aligned} plim \hat{β} & = \frac{Cov (y_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = \frac{Cov (α + β y_{t - 1} + ϵ_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = β + \frac{Cov (ϵ_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = β . \end{aligned}

$\begin{aligned} \text{plim} \ \hat{\beta} &= \frac{\text{Cov}(y_{t},y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\frac{\text{Cov}(\alpha + \beta y_{t-1}+\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &= \beta+ \frac{\text{Cov}(\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\beta. \end{aligned}$

— Florestan
sumber

Ada beberapa pertanyaan terkait di Cross Validated. Anda bisa mendapat manfaat dari mencari mereka.

— Richard Hardy

Saya melihat mereka, tetapi mereka tidak benar-benar membantu saya. Saya menemukan bukti dan simulasi yang menunjukkan hasil ini. Yang saya minati adalah apa yang salah dengan alasan saya di atas.

— Florestan

Ketika Anda menggunakan

plim

$\text{plim}$ , bukankah Anda lebih menekankan konsistensi daripada bias (un)? Untuk (tidak) bias Anda harus menggunakan harapan.

— Richard Hardy

Anda sepenuhnya benar, itu bisa memecahkan teka-teki. Jadi jika persamaan di atas tidak berlaku tanpa plim, maka itu tidak akan bertentangan dengan bias OLS dalam sampel kecil dan menunjukkan konsistensi OLS pada saat yang sama. Meskipun saya agak tidak yakin: Apakah formula kovarians atas varian ini benar-benar hanya berlaku untuk plim dan tidak juga dalam harapan? Terima kasih banyak!

— Florestan

Estimator OLS sendiri tidak melibatkan s, Anda hanya perlu melihat ekspektasi dalam sampel hingga.

plim

$\text{plim}$

— Richard Hardy

Jawaban:

Seperti pada dasarnya dibahas dalam komentar, ketidakberpihakan adalah properti sampel yang terbatas, dan jika dipegang akan dinyatakan sebagai

E (\hat{β}) = β

$E (\hat \beta ) = \beta$

(di mana nilai yang diharapkan adalah momen pertama dari distribusi sampel-terbatas)

sedangkan konsistensi adalah sifat asimptotik yang dinyatakan sebagai

plim \hat{β} = β

$\text{plim} \hat \beta = \beta$

OP menunjukkan bahwa meskipun OLS dalam konteks ini bias, tetap konsisten.

E (\hat{β}) \neq β but plim \hat{β} = β

$E (\hat \beta ) \neq \beta\;\;\; \text{but}\;\;\; \text{plim} \hat \beta = \beta$

Tidak ada kontradiksi di sini.

— Alecos Papadopoulos
sumber

@Alecos menjelaskan mengapa plim dan bias yang benar tidak sama. Adapun alasan mendasar mengapa penaksir tidak bias, ingat bahwa ketidakberpihakan penaksir mensyaratkan bahwa semua istilah kesalahan berarti independen dari semua nilai regressor, . $E(\epsilon|X)=0$

Dalam kasus ini, matriks regresi terdiri dari nilai-nilai , sehingga - lihat komentar mpiktas '- kondisi diterjemahkan menjadi untuk semua . $y_1,\ldots,y_{T-1}$ $E(\epsilon_s|y_1,\ldots,y_{T-1})=0$ $s=2,\ldots,T$

Di sini, kita punya

y_{t} = β y_{t - 1} + ϵ_{t},

$\begin{equation*} y_{t}=\beta y_{t-1}+\epsilon _{t}, \end{equation*}$ Bahkan di bawah asumsi kita memiliki Tapi, juga merupakan regressor untuk nilai-nilai masa depan dalam model AR, seperti .

E (ϵ_{t} y_{t - 1}) = 0

$E(\epsilon_{t}y_{t-1})=0$

E (ϵ_{t} y_{t}) = E (ϵ_{t} (β y_{t - 1} + ϵ_{t})) = E (ϵ_{t}^{2}) \neq 0.

$\begin{equation*} E(\epsilon_ty_{t})=E(\epsilon_t(\beta y_{t-1}+\epsilon _{t}))=E(\epsilon _{t}^{2})\neq 0. \end{equation*}$

y_{t}

$y_t$

y_{t + 1} = β y_{t} + ϵ_{t + 1}

$y_{t+1}=\beta y_{t}+\epsilon_{t+1}$

— Christoph Hanck
sumber

Saya akan menambahkan klarifikasi bahwa dalam hal ini diterjemahkan menjadi untuk setiap . Kemudian diskusi selanjutnya menjadi sedikit lebih jelas.

E (ε | X)

$E(\varepsilon | X)$

E (ε_{s} | y_{1}, . . ., y_{T})

$E(\varepsilon_s|y_{1},...,y_T)$

s

$s$

— mpiktas

Poin baiknya, saya melakukan edit

— Christoph Hanck

Memperluas dua jawaban bagus. Tuliskan estimator OLS:

\hat{β} = β + \frac{\sum_{t = 2}^{T} y_{t - 1} ε_{t}}{\sum_{t = 2}^{T} y_{t - 1}^{2}}

$\hat\beta =\beta + \frac{\sum_{t=2}^Ty_{t-1}\varepsilon_t}{\sum_{t=2}^Ty_{t-1}^2}$

Untuk ketidakberpihakan kita perlu

E [\frac{\sum_{t = 2}^{T} y_{t - 1} ε_{t}}{\sum_{t = 2}^{T} y_{t - 1}^{2}}] = 0.

$E\left[\frac{\sum_{t=2}^Ty_{t-1}\varepsilon_t}{\sum_{t=2}^Ty_{t-1}^2}\right]=0.$

Tetapi untuk itu kita membutuhkan untuk setiap . Untuk model AR (1) ini jelas gagal, karena terkait dengan nilai masa depan . $E(\varepsilon_t|y_{1},...,y_{T-1})=0,$ $t$ $\varepsilon_t$ $y_{t},y_{t+1},...,y_{T}$

— mpiktas
sumber

Hanya untuk memeriksa apakah saya sudah benar: Masalahnya bukan pembilangnya, untuk setiap t dan tidak berkorelasi. Masalahnya adalah penyebut yang menampilkan t lebih tinggi sehingga ada korelasi antara pembilang dan penyebut sehingga saya tidak bisa mengambil harapan dalam jumlah pembilang (di bawah eksogenitas ketat saya bisa melakukannya ?!). Apakah itu intuisi matematika yang benar?

y_{t - 1}

$y_{t-1}$

ϵ_{t}

$\epsilon_{t}$

— Florestan

Ya itu intuisi yang benar. Perhatikan bahwa eksogenitas ketat tidak mungkin dalam kasus ini, tetapi untuk ketidakberpihakan eksogenitas ketat menjadi persyaratan.

— mpiktas