Independensi rata-rata bersyarat menyiratkan ketidakberpihakan dan konsistensi estimator OLS


10

Pertimbangkan model regresi berganda berikut:

(1)Y=Xβ+Zδ+U.

Di sini adalah vektor vektor kolom; Matriks a ; a vektor kolom; a matriks; a vektor kolom; dan , istilah kesalahan, vektor kolom .Yn×1Xn×(k+1)β(k+1)×1Zn×lδl×1Un×1


PERTANYAAN

Dosen saya, buku teks Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, p. 281, dan Ekonometrika: Sesi Tinjauan Ujian Kehormatan (PDF) , hal. 7, telah mengungkapkan yang berikut kepada saya.

  1. Jika kita mengasumsikan apa yang disebut independensi bersyarat berarti , yang menurut definisi berarti bahwa
    (2)E(U|X,Z)=E(U|Z),
  2. dan jika asumsi kuadrat terkecil terpenuhi kecuali asumsi nol bersyarat rata-rata (jadi kita mengasumsikan ) (lihat 1 -3 di bawah),E(U|X,Z)=0E(U|X,Z)=E(U|Z)0

  3. kemudian, estimator OLS dari dalam tetap tidak bias dan konsisten, di bawah serangkaian asumsi yang lebih lemah ini.β^β(1)

Bagaimana saya membuktikan proposisi ini? Yaitu, bahwa 1 dan 2 di atas menyiratkan bahwa estimasi OLS dari memberi kita estimator yang tidak bias dan konsisten untuk ? Apakah ada artikel penelitian yang membuktikan proposisi ini?ββ


KOMENTAR

Kasus paling sederhana diberikan dengan mempertimbangkan model regresi linier dan membuktikan bahwa estimasi OLS dari tidak bias jika untuk setiap .

Yi=β0+β1Xi+β2Zi+ui,i=1,2,,n,
ß 1β^1β1E(ui|Xi,Zi)=E(ui|Zi)i

BUKTI KETIDAKAKSESAN YANG BAHWA DAN DIDISTRIBUSIKANUiZi

Tentukan , lalu danDengan demikian dapat ditulis ulang sebagai Oleh kemudian diikuti bahwa Sekarang, karena dan secara normal, teori distribusi normal, lih. Mendapatkan distribusi bersyarat dari distribusi normal multivariat , mengatakan bahwa (memang, kita tidak perlu mengasumsikan normalitas gabungan tetapi hanya identitas ini) untuk beberapa oleh vektorV=UE(U|X,Z)U=V+E(U|X,Z)

(*)E(V|X,Z)=0.
(1)
(3)Y=Xβ+Zδ+E(U|X,Z)+V.
(2)
(4)Y=Xβ+Zδ+E(U|Z)+V.
UiZi E ( U | Z ) = Z γ l1γ0
(**)E(U|Z)=Zγ
l1γ0 .

Sekarang menjadi Untuk model semua asumsi kuadrat terkecil terpenuhi, karena istilah kesalahan memenuhi asumsi bersyarat berarti nol. Ini menyiratkan bahwa taksiran OLS dari akan tidak bias, karena jika kita membiarkan , dan biarkan menjadi oleh matriks yang terdiri dari dan , maka estimasi OLS dari pada diberikan dengan mempertimbangkan hal-hal berikut:(4)

(5)Y=Xβ+Z(δ+γ)+V.
(5)Vβ β ρ = δ + γ W = ( X , Z ) n ( k + 1 ) + l X Z β ( 5 ) ( β T , ρ T ) Tβ^βρ=δ+γW=(X,Z)n(k+1)+lXZβ(5)
(β^T,ρ^T)T=(WTW)1WTY=(WTW)1WT(W(βT,ρT)T+V)=(βT,ρT)T+(WTW)1WTV

dan dengan demikian mana baris kedua diikuti oleh . Jadi adalah estimasi kondisional yang tidak bias dari sejak estimasi OLS yang diberikan untuk model coinicides dengan yang diberikan untuk model . Sekarang, berdasarkan hukum ekspektasi total dan karenanya adalah penaksir yang tidak bias untuk .

E((β^T,ρ^T)T|W)=(βT,ρT)T+(WTW)1WsTE(V|W)=(βT,ρT)T+(WTW)1WT0=(βT,ρT)T,
() β β(1)(5) E ( β )β^β(1)(5)
E(β^)=E(E(β^|W))=E(β)=β,
β ββ^β

(Orang mungkin mencatat bahwa , sehingga koefisien pada tidak selalu tidak bias.)E(ρ^)=ρ=δ+γδZ

Namun, kasus khusus di atas mengasumsikan bahwa dan normal bersama, bagaimana saya membuktikan proposisi tanpa asumsi ini?UiZi

Dengan asumsi bahwa sudah cukup tentu saja (lih. ), tapi saya seharusnya mendapatkan hasil hanya menggunakan dan asumsi kuadrat terkecil tidak termasuk asumsi Conditional Mean Zero ( Lihat di bawah).E(U|Z)=Zγ()(2)

TENTANG KONSISTENSI

Saya pikir kita juga dapat melihat bahwa estimasi konsisten untuk dengan memperhatikan bahwa dalam model regresi semua asumsi kuadrat terpenuhi, termasuk asumsi bahwa istilah kesalahan (baru) memenuhi Asumsi Conditional Mean Zero (lih. Dan lihat di bawah).β^β(5)V()

Saya dapat menambahkan bukti konsistensi nanti yang didasarkan pada serangkaian latihan dalam Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, ch. 18. Namun, bukti ini cukup panjang. Tetapi intinya di sini adalah bahwa bukti yang diberikan dalam latihan mengasumsikan , jadi saya masih bertanya-tanya apakah asumsi benar-benar mencukupi.()(2)

SUBQUERY 1

Dalam Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, dikatakan, di hal. 300, bahwa asumsi dapat "santai" menggunakan teori regresi nonlinier. Apa yang mereka maksudkan dengan ini?()

ASUMSI SQUARES TERSEDIA

Di sini saya mengecualikan asumsi nol syarat bersyarat bahwa karena proposisi yang kami coba buktikan di sini memungkinkan untuk kasus-kasus di mana . Ini adalah kasus misalnya ketika berkorelasi dengan . Lih Ekonometrika: Sesi Tinjauan Pemeriksaan Kehormatan (PDF) , hlm. 7.E(U|X,Z)=0E(U|X,Z)0ZU

Asumsi kuadrat terkecil adalah sebagai berikut.

  1. Distribusi gabungan dari , adalah iid, di mana adalah elemen : th di dan di mana dan adalah vektor baris : th di dan .(Yi,Xi,Zi)i=1,2,,n,YiiYXiZiiXZ

  2. Outlier besar tidak mungkin, yaitu, untuk setiap , dan memiliki terbatas momen keempat, di mana adalah : th elemen dalam .iXi,ZiUiUiiU

  3. (X,Z) memiliki peringkat kolom penuh (yaitu, tidak ada multikolinieritas yang sempurna; ini memastikan keterbalikan ).WTW

  4. ( Asumsi kuadrat terkecil yang diperluas : Meskipun saya pikir ini tidak perlu (dan telah dikatakan kepada saya bahwa itu tidak perlu), kita juga dapat mengasumsikan homoskedastisitas, yaitu untuk setiap , dan bahwa distribusi kondisional dari diberikan adalah normal untuk setiap (yaitu, kami memiliki kesalahan normal.))Var(Ui|Xi,Zi)=σU2iUi(Xi,Zi)i

CATATAN TERMINOLOGI

Dalam , asumsi Conditional Mean Zero adalah asumsi bahwa . Asumsi Independen Berarti Bersyarat, bagaimanapun, adalah asumsi bahwa .(1)E(U|X,Z)=0E(U|X,Z)=E(U|Z)

Terminologi ini digunakan dalam misalnya Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, p. 281; dan Analisis Ekonometrik dari Potongan Melintang dan Data Panel, edisi pertama. oleh Jeffrey M. Wooldridge, hlm. 607. Lihat juga Batasan Independensi Bersyarat: Pengujian dan Estimasi untuk diskusi serupa.

PIKIRAN DAN SUBQUERY TAMBAHAN 2

Saya pikir bertentangan dengan James H. Stock dan Mark W. Watson bahwa independensi rata-rata bersyarat tidak memastikan estimasi OLS yang tidak bias dari . Ini karena dapat berbentuk nonlinear seperti mana adalah polinomial dalam , atau mana adalah beberapa parameter yang belum diperkirakan (di sini saya menggunakan matriks eksponensial ), dan kemudian, saya pikir, regresi nonlinier harus diterapkan, yang umumnya meninggalkan kita dengan perkiraan bias. Juga, perkiraan OLS dalam (1) dari bahkan mungkin tidak sesuai dengan estimasi OLS dariβE(U|Z)E(U|Z)=p(Z)p(Z)ZE(U|Z)=exp(Zγ)γββdalam jika mengambil bentuk nonlinier tertentu. (Secara psikologis saya juga merasa bahwa pernyataan yang dibuat dalam buku oleh Stock & Watson terlalu bagus untuk menjadi kenyataan.)(4)E(U|Z)

Jadi, pertanyaan tambahan adalah apakah ada beberapa contoh berlawanan dengan proposisi bahwa independensi rata-rata bersyarat mengarah pada estimasi OLS yang tidak bias?

SUBQUERY 3

Dalam Mostly Harmless Econometrics Angrist & Pischke berpendapat dalam ayat 3.3, hal. 68--91, bahwa di bawah independensi bersyarat (CI), yaitu menjadi independen dari diberikan (yang merupakan kondisi yang lebih kuat, saya kira, dari asumsi independensi rata-rata bersyarat yang diberikan di atas), ada hubungan yang erat antara perkiraan pencocokan dari efek pada dan koefisien pada dalam regresi pada dan yang memotivasi bahwa di bawah CI estimasi OLS dari koefisien pada dalamYXWXYXYXWX(1) kurang bias dibandingkan jika CI tidak memegang (semua yang lain sama).

Sekarang, dapatkah ide ini digunakan untuk menjawab pertanyaan utama saya di sini?


@ Xi'an Apa maksudmu? Itulah definisi independensi rata-rata bersyarat yang diberikan dalam buku teks saya: Jika kita dalam regresi linier memiliki , maka kita mengatakan bahwa kami memiliki independensi berarti bersyarat. Saya hanya berpikir cara menulis saya lebih umum. Yi=β0+β1Xi+β2Zi+uiE(ui|Xi,Zi)=E(ui|Zi)
Elias

@ Xi'an Bagaimana Anda mendefinisikan "conditional independe $ ce" dalam kasus ini? Seperti yang saya pikirkan, "independensi bersyarat" adalah konsep yang berbeda dari "independensi bersyarat kondisional". Mereka mungkin atau mungkin tidak terkait secara konsep.
Elias

@ Xi'an Inilah cara saya memahami konsep: Kemandirian bersyarat hanya , tetapi independensi rata-rata bersyarat adalah . P(AB|C)=P(A|C)P(B|C)E(A|B,C)=E(A|C)
Elias

Di mana komentar Xi'an?
Michael R. Chernick

@MichaelChernick Komentarnya adalah yang pertama. Saya kira dia pasti sudah menghapusnya. Seingat saya, dia berkata bahwa tidak menyiratkan independensi bersyarat, dan saya menjawab. E(U|X,Z)=E(U|Z)
Elias

Jawaban:


4

Itu salah. Seperti yang Anda amati, jika Anda membaca Stock dan Watson dengan cermat, mereka tidak benar-benar mendukung klaim bahwa OLS tidak bias untuk bawah independensi rata-rata bersyarat. Mereka mendukung klaim yang jauh lebih lemah bahwa OLS tidak bias untuk jika . Kemudian, mereka mengatakan sesuatu yang tidak jelas tentang kuadrat terkecil non-linear.ββE(u|x,z)=zγ

Persamaan Anda (4) berisi apa yang perlu Anda lihat bahwa klaim itu salah. Memperkirakan persamaan (4) oleh OLS sambil menghilangkan variabel menyebabkan bias variabel yang dihilangkan. Seperti yang Anda ingat, istilah bias dari variabel yang dihilangkan (ketika variabel yang dihilangkan memiliki koefisien 1) dikendalikan oleh koefisien dari regresi bantu berikut: Bias dalam regresi asli untuk adalah dari regresi ini, dan bias pada adalah . Jika berkorelasi dengan , setelah dikontrol secara linear untukE(u|x,z)

E(u|z)=xα1+zα2+ν
βα1γα2xE(u|z)z , maka akan menjadi nol dan koefisien OLS akan menjadi bias.α1

Berikut adalah contoh untuk membuktikan intinya:

ξF(),ζG(),νH()all independentz=ξx=z2+ζu=z+z2E(z+z2)+ν

Melihat rumus , jelas bahwa Melihat regresi bantu, jelaslah bahwa (jika tidak ada pilihan kebetulan ) tidak akan nol.uE(u|x,z)=E(u|z)=z+z2E(z+z2)F,G,Hα1

Berikut adalah contoh yang sangat sederhana Ryang menunjukkan hal tersebut:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Perhatikan bahwa regresi pertama memberi Anda koefisien pada yang bias sebesar 0,63, yang mencerminkan fakta bahwa "memiliki beberapa di dalamnya" seperti halnya . Perhatikan juga bahwa regresi bantu memberi Anda perkiraan bias sekitar 0,63.xxz2E(u|z)

Jadi, apa yang dibicarakan Stock dan Watson (dan dosen Anda)? Mari kita kembali ke persamaan Anda (4):

y=xβ+zγ+E(u|z)+v

Ini fakta penting bahwa variabel yang dihilangkan hanya fungsi dari . Sepertinya jika kita bisa mengendalikan sangat baik, itu sudah cukup untuk menghilangkan bias dari regresi, meskipun mungkin berkorelasi dengan .zzxu

Misalkan kita memperkirakan persamaan di bawah ini menggunakan metode non-parametrik untuk memperkirakan fungsi atau menggunakan bentuk fungsional yang benar . Jika kami menggunakan bentuk fungsional yang benar, kami akan memperkirakannya dengan kuadrat terkecil non-linear (menjelaskan komentar samar tentang NLS): Itu akan memberi kita penduga yang konsisten untuk karena tidak ada lagi masalah variabel yang dihilangkan. f()f(z)=zγ+E(u|z)

y=xβ+f(z)+v
β

Atau, jika kita memiliki data yang cukup, kita bisa pergi `` sepanjang jalan '' dalam mengendalikan . Kita dapat melihat subset dari data di mana , dan jalankan saja regresi: Ini akan memberikan penduga yang tidak bias, konsisten untuk kecuali untuk mencegat, tentu saja, yang akan dicemari oleh . Jelas, Anda juga bisa mendapatkan penaksir yang konsisten dan tidak bias (berbeda) dengan menjalankan regresi itu hanya pada titik data yang . Dan satu lagi untuk titik di mana . Dll. Maka Anda akan memiliki banyak penduga yang baik dari mana Anda dapat membuat penduga yang hebat dengan, katakanlah, rata-rata semuanya bersama-sama.zz=1

y=xβ+v
βf(1)z=2z=3

Pikiran terakhir ini adalah inspirasi untuk penduga yang cocok. Karena kami biasanya tidak memiliki cukup data untuk menjalankan regresi hanya untuk atau bahkan untuk pasangan titik di mana identik, kami malah menjalankan regresi untuk titik di mana `cukup dekat 'untuk menjadi identik.z=1zz


3

Anda tidak dapat membuktikan hasil ini karena itu tidak benar dalam pernyataan umumnya. Mulai dengan model di persamaan Anda. (4)

Y=Xβ+Zδ+(E(U|Z)+V)

di mana tanda kurung besar menunjukkan istilah kesalahan aktual (belum ada asumsi pada harapan bersyarat). Tentukan matriks residual-maker atau annihilator , yang simetris, idempoten dan kami juga memiliki . MZ=IZ(ZZ)1ZMZZ=0

Dengan "hasil regresi partioned" kami memilikinya

β^OLSβ=(XMZX)1XMZZδ+(XMZX)1XMZE(UZ)+(XMZX)1XMZV

Istilah pertama di sebelah kanan sudah nol. Mengambil nilai yang diharapkan di seluruh, dan kemudian menerapkan properti menara untuk ekspektasi bersyarat, suku ketiga juga akan nol (menggunakan independensi rata-rata bersyarat dalam bentuk yang lebih lemah). Tetapi sejauh inilah asumsi yang lebih lemah ini membawa kita, karena kita akan dibiarkan begitu saja

E(β^OLS)β=E[(XMZX)1XMZE(UZ)]

Untuk ketidakberpihakan kami ingin sisi kanan menjadi nol. Ini akan berlaku jika adalah fungsi linear dari (seperti yang Anda temukan juga) karena kita akan kembali mendapatkan nol . Tetapi sebaliknya, sama sekali sewenang-wenang untuk secara langsung mengasumsikan bahwa seluruh nilai yang diharapkan adalah nol. Kita tidak harus mengasumsikan nortmalitas bersama, tetapi kita harus mengasumsikan linearitas dari ekspektasi bersyarat ini (distribusi lain juga memiliki properti ini). Jadi asumsi yang diperlukan untuk ketidakberpihakan adalahE(UZ)ZMZZ
β

E(UX,Z)=E(UZ)=Zγ

dan saya tidak bisa mengatakan apakah itu benar-benar "lemah" atau tidak, dibandingkan dengan exogeneity ketat semua regressors (karena exogeneity ketat dinyatakan dalam hal kemandirian rata-rata untuk semua asumsi distribusi, sementara di sini kita harus membatasi kelas distribusi yang dan ikuti).UZ

Tidak sulit untuk menunjukkan bahwa di bawah asumsi linearitas ini juga akan konsisten.β^OLS


Jawaban bagus! Saya membaca ini sejak lama, dan berpikir bahwa saya akan memikirkannya nanti. Saya punya beberapa pertanyaan: Bagaimana Anda bisa membuktikan hasil regresi yang dipartisi? Saya akan menghargai setidaknya referensi. Juga, apa perbedaan antara dan ? M zMZMz
Elias

1
@ Monir dan hanya salah ketik - diperbaiki. Untuk hasil regresi terpartisi (yang sangat tua dan standar), lihat misalnya buku teks Econometrics oleh Greene, pada bab di mana ia membahas aspek aljabar dari estimasi kuadrat-terkecil biasa. Itu termasuk buktinya. zZz
Alecos Papadopoulos
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.