Pertimbangkan model regresi berganda berikut:
Di sini adalah vektor vektor kolom; Matriks a ; a vektor kolom; a matriks; a vektor kolom; dan , istilah kesalahan, vektor kolom .
PERTANYAAN
Dosen saya, buku teks Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, p. 281, dan Ekonometrika: Sesi Tinjauan Ujian Kehormatan (PDF) , hal. 7, telah mengungkapkan yang berikut kepada saya.
- Jika kita mengasumsikan apa yang disebut independensi bersyarat berarti , yang menurut definisi berarti bahwa
dan jika asumsi kuadrat terkecil terpenuhi kecuali asumsi nol bersyarat rata-rata (jadi kita mengasumsikan ) (lihat 1 -3 di bawah),
kemudian, estimator OLS dari dalam tetap tidak bias dan konsisten, di bawah serangkaian asumsi yang lebih lemah ini.
Bagaimana saya membuktikan proposisi ini? Yaitu, bahwa 1 dan 2 di atas menyiratkan bahwa estimasi OLS dari memberi kita estimator yang tidak bias dan konsisten untuk ? Apakah ada artikel penelitian yang membuktikan proposisi ini?
KOMENTAR
Kasus paling sederhana diberikan dengan mempertimbangkan model regresi linier dan membuktikan bahwa estimasi OLS dari tidak bias jika untuk setiap .
BUKTI KETIDAKAKSESAN YANG BAHWA DAN DIDISTRIBUSIKAN
Tentukan , lalu danDengan demikian dapat ditulis ulang sebagai Oleh kemudian diikuti bahwa Sekarang, karena dan secara normal, teori distribusi normal, lih. Mendapatkan distribusi bersyarat dari distribusi normal multivariat , mengatakan bahwa (memang, kita tidak perlu mengasumsikan normalitas gabungan tetapi hanya identitas ini) untuk beberapa oleh vektor
Sekarang menjadi Untuk model semua asumsi kuadrat terkecil terpenuhi, karena istilah kesalahan memenuhi asumsi bersyarat berarti nol. Ini menyiratkan bahwa taksiran OLS dari akan tidak bias, karena jika kita membiarkan , dan biarkan menjadi oleh matriks yang terdiri dari dan , maka estimasi OLS dari pada diberikan dengan mempertimbangkan hal-hal berikut:
dan dengan demikian mana baris kedua diikuti oleh . Jadi adalah estimasi kondisional yang tidak bias dari sejak estimasi OLS yang diberikan untuk model coinicides dengan yang diberikan untuk model . Sekarang, berdasarkan hukum ekspektasi total dan karenanya adalah penaksir yang tidak bias untuk .
(Orang mungkin mencatat bahwa , sehingga koefisien pada tidak selalu tidak bias.)
Namun, kasus khusus di atas mengasumsikan bahwa dan normal bersama, bagaimana saya membuktikan proposisi tanpa asumsi ini?
Dengan asumsi bahwa sudah cukup tentu saja (lih. ), tapi saya seharusnya mendapatkan hasil hanya menggunakan dan asumsi kuadrat terkecil tidak termasuk asumsi Conditional Mean Zero ( Lihat di bawah).
TENTANG KONSISTENSI
Saya pikir kita juga dapat melihat bahwa estimasi konsisten untuk dengan memperhatikan bahwa dalam model regresi semua asumsi kuadrat terpenuhi, termasuk asumsi bahwa istilah kesalahan (baru) memenuhi Asumsi Conditional Mean Zero (lih. Dan lihat di bawah).
Saya dapat menambahkan bukti konsistensi nanti yang didasarkan pada serangkaian latihan dalam Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, ch. 18. Namun, bukti ini cukup panjang. Tetapi intinya di sini adalah bahwa bukti yang diberikan dalam latihan mengasumsikan , jadi saya masih bertanya-tanya apakah asumsi benar-benar mencukupi.
SUBQUERY 1
Dalam Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, dikatakan, di hal. 300, bahwa asumsi dapat "santai" menggunakan teori regresi nonlinier. Apa yang mereka maksudkan dengan ini?
ASUMSI SQUARES TERSEDIA
Di sini saya mengecualikan asumsi nol syarat bersyarat bahwa karena proposisi yang kami coba buktikan di sini memungkinkan untuk kasus-kasus di mana . Ini adalah kasus misalnya ketika berkorelasi dengan . Lih Ekonometrika: Sesi Tinjauan Pemeriksaan Kehormatan (PDF) , hlm. 7.
Asumsi kuadrat terkecil adalah sebagai berikut.
Distribusi gabungan dari , adalah iid, di mana adalah elemen : th di dan di mana dan adalah vektor baris : th di dan .
Outlier besar tidak mungkin, yaitu, untuk setiap , dan memiliki terbatas momen keempat, di mana adalah : th elemen dalam .
memiliki peringkat kolom penuh (yaitu, tidak ada multikolinieritas yang sempurna; ini memastikan keterbalikan ).
( Asumsi kuadrat terkecil yang diperluas : Meskipun saya pikir ini tidak perlu (dan telah dikatakan kepada saya bahwa itu tidak perlu), kita juga dapat mengasumsikan homoskedastisitas, yaitu untuk setiap , dan bahwa distribusi kondisional dari diberikan adalah normal untuk setiap (yaitu, kami memiliki kesalahan normal.))
CATATAN TERMINOLOGI
Dalam , asumsi Conditional Mean Zero adalah asumsi bahwa . Asumsi Independen Berarti Bersyarat, bagaimanapun, adalah asumsi bahwa .
Terminologi ini digunakan dalam misalnya Pengantar Ekonometrika, edisi ke-3. oleh James H. Stock dan Mark W. Watson, p. 281; dan Analisis Ekonometrik dari Potongan Melintang dan Data Panel, edisi pertama. oleh Jeffrey M. Wooldridge, hlm. 607. Lihat juga Batasan Independensi Bersyarat: Pengujian dan Estimasi untuk diskusi serupa.
PIKIRAN DAN SUBQUERY TAMBAHAN 2
Saya pikir bertentangan dengan James H. Stock dan Mark W. Watson bahwa independensi rata-rata bersyarat tidak memastikan estimasi OLS yang tidak bias dari . Ini karena dapat berbentuk nonlinear seperti mana adalah polinomial dalam , atau mana adalah beberapa parameter yang belum diperkirakan (di sini saya menggunakan matriks eksponensial ), dan kemudian, saya pikir, regresi nonlinier harus diterapkan, yang umumnya meninggalkan kita dengan perkiraan bias. Juga, perkiraan OLS dalam (1) dari bahkan mungkin tidak sesuai dengan estimasi OLS daridalam jika mengambil bentuk nonlinier tertentu. (Secara psikologis saya juga merasa bahwa pernyataan yang dibuat dalam buku oleh Stock & Watson terlalu bagus untuk menjadi kenyataan.)
Jadi, pertanyaan tambahan adalah apakah ada beberapa contoh berlawanan dengan proposisi bahwa independensi rata-rata bersyarat mengarah pada estimasi OLS yang tidak bias?
SUBQUERY 3
Dalam Mostly Harmless Econometrics Angrist & Pischke berpendapat dalam ayat 3.3, hal. 68--91, bahwa di bawah independensi bersyarat (CI), yaitu menjadi independen dari diberikan (yang merupakan kondisi yang lebih kuat, saya kira, dari asumsi independensi rata-rata bersyarat yang diberikan di atas), ada hubungan yang erat antara perkiraan pencocokan dari efek pada dan koefisien pada dalam regresi pada dan yang memotivasi bahwa di bawah CI estimasi OLS dari koefisien pada dalam kurang bias dibandingkan jika CI tidak memegang (semua yang lain sama).
Sekarang, dapatkah ide ini digunakan untuk menjawab pertanyaan utama saya di sini?