Intuisi penaksir sandwich

Sketsa Wikipedia dan paket sandwich R memberikan informasi yang baik tentang asumsi yang mendukung kesalahan standar koefisien OLS dan latar belakang matematika dari penduga sandwich. Saya masih belum jelas bagaimana masalah heteroscedasticity residual ditangani, mungkin karena saya tidak sepenuhnya memahami estimasi varians koefisien OLS standar di tempat pertama.

Apa intuisi di balik estimator sandwich?

— Robert Kubrick
sumber

Anda perlu mempelajari lebih lanjut tentang estimasi-

M

$M$ (atau estimasi ekstrem, seperti yang kadang-kadang disebut dalam ekonometrik). Pengukur sandwich untuk regresi hanyalah kasus khusus dari formula metode delta yang sangat umum, dan jika Anda memahami yang terakhir, Anda tidak akan memiliki masalah dengan yang sebelumnya. Tidak ada intuisi bahwa estimator sandwich tidak mencoba memodelkan heteroskedastisitas atau melakukan sesuatu yang spesifik tentang hal itu; itu hanya penaksir varians yang berbeda yang bekerja di bawah seperangkat asumsi yang lebih umum daripada penaksir OLS standar.

— Tugas

@StasK Terima kasih! Apakah Anda kebetulan mengetahui sumber daya bagus tertentu pada rumus estimasi dan metode delta?

— Robert Kubrick

Monografi @Robert Huber "Statistik Kuat" layak untuk dilihat.

— Momo

Untuk OLS, Anda dapat membayangkan bahwa Anda menggunakan estimasi varians dari residual (dengan asumsi kemerdekaan dan homoscedasticity) sebagai perkiraan untuk varians bersyarat dari s. Di penaksir berbasis sandwich, Anda menggunakan residu kuadrat yang diamati sebagai taksiran plug-in dari varian yang sama yang dapat bervariasi di antara pengamatan. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Dalam estimasi kesalahan standar kuadrat terkecil biasa untuk estimasi koefisien regresi, varian bersyarat dari hasil diperlakukan sebagai konstan dan independen, sehingga dapat diperkirakan secara konsisten.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Untuk sandwich, kami menghindari estimasi varians bersyarat yang konsisten dan sebagai gantinya menggunakan estimasi plug-in dari varians setiap komponen menggunakan residu kuadrat

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Dengan menggunakan plug-in estimasi varians, kita mendapatkan perkiraan konsisten dari varians dari oleh Lyapunov Teorema Limit Sentral. $\hat{\beta}$

Secara intuitif, residu kuadrat yang diamati ini akan menghapus kesalahan yang tidak dapat dijelaskan karena heteroskedastisitas yang seharusnya tidak terduga dengan asumsi varian konstan.

— AdamO
sumber

Ini paragraf terakhir Anda yang sulit saya pahami. Bisakah Anda menggambarkan?

— Robert Kubrick

Ini bukan SE dalam formula Anda, AdamO, itu SE ^ 2 ... dengan cara matriks apa pun yang Anda maksudkan.

— Tugas

@StasK Poin bagus. Mungkin varians-hat lebih baik. Saya membingungkan terminologi multivariat dan univariat.

— AdamO

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

Sunting: Saya mengatakan bahwa estimasi OLS var melibatkan "perkiraan residu yang konsisten", ketika saya bermaksud mengatakan "estimasi konsisten dari varian residu".

— AdamO