Asumsi untuk mendapatkan estimator OLS

Dapatkah seseorang menjelaskan secara singkat untuk saya, mengapa masing-masing dari enam asumsi diperlukan untuk menghitung estimator OLS? Saya hanya menemukan tentang multikolinieritas — bahwa jika ada, kami tidak dapat membalikkan (X'X) matriks dan pada gilirannya memperkirakan penaksir keseluruhan. Bagaimana dengan yang lain (misalnya, linearitas, nol kesalahan berarti, dll.)?

Anda selalu dapat menghitung penaksir OLS, selain dari kasus ketika Anda memiliki multikolinieritas sempurna. Dalam hal ini, Anda memiliki ketergantungan multilinear sempurna dalam matriks X Anda. Akibatnya, asumsi peringkat penuh tidak terpenuhi dan Anda tidak dapat menghitung penaksir OLS, karena masalah keterbalikan.

Secara teknis, Anda tidak perlu asumsi OLS lain untuk menghitung estimator OLS. Namun, menurut teorema Gauss-Markov Anda harus memenuhi asumsi OLS (asumsi clrm) agar estimator Anda menjadi BIRU.

Anda dapat menemukan diskusi ekstensif tentang teorema Gauss-Markov dan derivasi matematikanya di sini:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Lebih jauh, jika Anda mencari gambaran umum dari asumsi OLS, yaitu berapa banyak yang ada, apa yang mereka butuhkan dan apa yang terjadi jika Anda melanggar asumsi OLS tunggal dapat menemukan diskusi yang rumit di sini:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Saya harap itu membantu, tepuk tangan!

Berikut ini didasarkan pada penampang sederhana, untuk deret waktu dan panel agak berbeda.

1. Dalam populasi, dan karena itu dalam sampel, model dapat ditulis sebagai: Ini adalah asumsi linearitas, yang terkadang disalahpahami. Model harus linier dalam parameter - yaituβk. Anda bebas untuk melakukan apapun yang Anda inginkan denganxisendiri. Log, kuadrat dll. Jika ini bukan masalahnya, maka model tidak dapat diperkirakan oleh OLS - Anda memerlukan beberapa penduga nonlinier lainnya. $$\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$$ $\beta_k$$x_i$
2. Sampel acak (untuk penampang) Ini diperlukan untuk inferensi, dan properti sampel. Ini agak tidak relevan untuk mekanik murni OLS.
3. Tidak ada collinearity sempurna ini berarti bahwa tidak ada hubungan yang sempurna antara . Ini adalah asumsi yang memastikan bahwa ( X ′ X ) adalah nonsingular, sehingga ( X ′ X ) - 1 ada.$x_i$$(X’X)$$(X’X)^{-1}$
4. Berarti bersyarat nol: . Ini berarti bahwa Anda telah menentukan model dengan benar sehingga: tidak ada variabel yang dihilangkan, dan bentuk fungsional yang Anda perkirakan benar relatif terhadap model populasi (tidak diketahui). Ini selalu merupakan asumsi bermasalah dengan OLS, karena tidak ada cara untuk mengetahui apakah itu benar atau tidak.$E(u|X) = 0$
5. Varians dari istilah kesalahan adalah konstan, tergantung pada semua : V a r ( u | X ) = σ 2 Sekali lagi ini tidak berarti apa-apa untuk mekanisme OLS, tetapi memastikan bahwa kesalahan standar yang biasa valid.$X_i$$\Var(u|X)=\sigma^2$
6. Normalitas; istilah kesalahan u tidak tergantung pada , dan mengikuti u ∼ N ( 0 , σ 2 ) . Sekali lagi ini tidak relevan untuk mekanika OLS, tetapi memastikan bahwa distribusi sampling dari β k adalah normal, ^ β k ∼ N ( β k , V a r ( ^ β k ) ) .$X_i$$u \sim N(0,\sigma^2)$$\beta_k$$\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Sekarang untuk implikasinya.

1. Di bawah 1 - 6 (asumsi model linier klasik) OLS adalah BIRU (penaksir tidak bias linier terbaik), terbaik dalam arti varian terendah. Ini juga efisien di antara semua penaksir linier, serta semua penaksir yang menggunakan beberapa fungsi x. Lebih penting lagi di bawah 1 - 6, OLS juga merupakan penaksir tidak bias varians minimum. Itu berarti bahwa di antara semua penaksir yang tidak memihak (bukan hanya linear) OLS memiliki varians terkecil. OLS juga konsisten.

2. Di bawah 1 - 5 (asumsi Gauss-Markov) OLS adalah BIRU dan efisien (seperti dijelaskan di atas).

3. Di bawah 1 - 4, OLS tidak bias, dan konsisten.

Sebenarnya OLS juga konsisten, di bawah asumsi lemah dari yaitu bahwa: ( 1 ) E ( u ) = 0 dan ( 2 ) C o v ( x j , u ) = 0 . Perbedaan dari asumsi 4 adalah bahwa, berdasarkan asumsi ini, Anda tidak perlu memakukan hubungan fungsional dengan sempurna.$(4)$$(1)\ E(u) = 0$$(2)\ \Cov(x_j , u) = 0$

Sebuah komentar dalam pertanyaan lain menimbulkan keraguan tentang pentingnya kondisi , dengan alasan bahwa hal itu dapat diperbaiki dengan memasukkan istilah konstan dalam spesifikasi regresi, dan dengan demikian "dapat dengan mudah diabaikan".$E(\mathbf u \mid \mathbf X) =0$

Ini tidak benar. Dimasukkannya istilah konstan dalam regresi akan menyerap rata-rata kondisional yang mungkin tidak nol dari istilah kesalahan jika kita mengasumsikan bahwa rata-rata bersyarat ini sudah konstan dan bukan fungsi dari regressor . Ini adalah asumsi penting yang harus dibuat secara independen apakah kita memasukkan istilah yang konstan atau tidak:

Jika ini berlaku, maka mean non-nol menjadi gangguan yang bisa kita selesaikan dengan memasukkan istilah yang konstan.

Tetapi jika ini tidak berlaku , (yaitu jika rata-rata bersyarat bukan nol atau konstanta tidak nol ), dimasukkannya istilah konstan tidak menyelesaikan masalah: apa yang akan "diserap" dalam kasus ini adalah besarnya itu tergantung pada sampel spesifik dan realisasi dari para regressor. Pada kenyataannya koefisien yang tidak diketahui yang melekat pada deretan yang, tidak benar-benar konstan tetapi variabel, tergantung pada regressor melalui rata-rata bersyarat non-konstan dari istilah kesalahan.

Apa artinya ini? Untuk menyederhanakan, anggap kasus paling sederhana, di mana ( i indeks pengamatan) tetapi E ( u i ∣ x i ) = h ( x i ) . Yaitu bahwa istilah kesalahan berarti bebas dari regressor kecuali dari yang sezaman (dalam X kami tidak termasuk serangkaian yang).$E(u_i \mid \mathbf X_{-i})=0$$i$$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$$\mathbf X$

Asumsikan bahwa kami menentukan regresi dengan dimasukkannya istilah konstan (sebuah regresi dari serangkaian yang).

dan notasi pemadatan

di mana , Z = [ 1 : X ] , γ = ( a , β ) ' , ε = u - a .$\mathbf a = (a,a,a...)'$$\mathbf Z = [\mathbf 1: \mathbf X]$$\mathbf γ = (a, \mathbf β)'$$\mathbf ε = \mathbf u - \mathbf a$

Maka estimator OLS akan menjadi

Untuk ketidakberpihakan kita membutuhkan . Tapi$E\left[\mathbf ε\mid \mathbf Z\right] =0$

$i$$h(\mathbf x_i)$

dan

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$, then even if we include a constant term in the regression, the OLS estimator will not be unbiased, meaning also that the Gauss-Markov result on efficiency, is lost.

Moreover, the error term $\mathbf ε$ has a different mean for each $i$, and so also a different variance (i.e. it is conditionally heteroskedastic). So its distribution conditional on the regressors differs across the observations $i$.

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$, then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".