Pengukur tidak bias lainnya selain BLUE (solusi OLS) untuk model linier

Untuk model linier, solusi OLS memberikan penaksir tidak bias linier terbaik untuk parameter.

Tentu saja kita dapat memperdagangkan bias untuk varian yang lebih rendah, misalnya regresi ridge. Tetapi pertanyaan saya adalah tentang tidak memiliki bias. Apakah ada estimator lain yang agak umum digunakan, yang tidak bias tetapi dengan varians yang lebih tinggi daripada parameter perkiraan OLS?

Jika saya akan memiliki kumpulan data yang sangat besar tentu saja saya dapat mengambil sampel dan memperkirakan parameter dengan data yang lebih sedikit, dan meningkatkan varians. Saya menganggap ini bisa berguna secara hipotesis.

Ini lebih merupakan pertanyaan retoris, karena ketika saya telah membaca tentang estimator BLUE, alternatif yang lebih buruk tidak disediakan. Saya kira memberikan alternatif yang lebih buruk juga dapat membantu orang memahami kekuatan estimator BLUE dengan lebih baik.

— Gumeo
sumber

Bagaimana dengan estimator kemungkinan maksimum? Misalnya jika Anda berpikir data Anda diambil dari distribusi

dengan parameter kebebasan derajat yang relatif rendah (

atau

mungkin merupakan karakteristik pengembalian keuangan), penaksir kemungkinan maksimum tidak akan bertepatan dengan OLS tapi kurasa itu akan tetap tidak bias.

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— Richard Hardy

Relevan: andrewgelman.com/2015/05/05/...

— b halvorsen

@ RichardHardy, saya juga mencoba MLE, dengan hasil yang Anda perkirakan.

— Christoph Hanck

Salah satu contoh yang terlintas dalam pikiran adalah beberapa penduga GLS yang menimbang pengamatan secara berbeda walaupun itu tidak diperlukan ketika asumsi Gauss-Markov terpenuhi (yang ahli statistik mungkin tidak tahu kasusnya dan karenanya berlaku masih menerapkan GLS).

Pertimbangkan kasus regresi $y_i$ , $i=1,\ldots,n$ pada konstanta untuk ilustrasi (siap digeneralisasikan ke penduga GLS umum). Di sini, $\{y_i\}$ diasumsikan sampel acak dari populasi dengan mean $\mu$ dan variansi $\sigma^2$ .

Kemudian, kita tahu bahwa OLS hanya , sampel berarti. Untuk menekankan titik bahwa setiap pengamatan tertimbang dengan berat , menulis ini sebagai $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ Hal ini juga diketahui bahwa

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ .

Sekarang, pertimbangkan estimator lain yang dapat ditulis sebagai

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$ di mana bobot yang sedemikian rupa sehingga

\sum_{i} w_{i} = 1

$\sum_iw_i=1$ . Hal ini memastikan bahwa estimator yang berisi, seperti

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$

w_{i} = 1 / n

$w_i=1/n$

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$

λ

$\lambda$

w_{i} = w_{j}

$w_i=w_j$ , which implies

w_{i} = 1 / n

$w_i=1/n$ minimizes the variance, by the requirement that the weights sum to one.

Berikut ini adalah ilustrasi grafis dari sedikit simulasi, dibuat dengan kode di bawah ini:

EDIT: Sebagai tanggapan atas saran @ kjetilbhalvorsen dan @ RichardHardy, saya juga menyertakan median $y_i$ , MLE dari parameter lokasi pf pada (4) distribusi (saya mendapat peringatan In log(s) : NaNs producedbahwa saya tidak memeriksa lebih lanjut) dan penduga Huber dalam plot.

Kami mengamati bahwa semua penduga tampaknya tidak bias. Namun, estimator yang menggunakan bobot $w_i=(1\pm\epsilon)/n$ karena bobot untuk separuh sampel lebih bervariasi, seperti median, MLE distribusi-t dan penduga Huber (yang terakhir hanya sedikit, lihat juga di sini ).

Bahwa tiga yang terakhir dikalahkan oleh solusi OLS tidak segera tersirat oleh properti BIRU (setidaknya tidak bagi saya), karena tidak jelas apakah mereka adalah penduga linier (juga saya tidak tahu apakah MLE dan Huber tidak bias).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— Christoph Hanck
sumber

Neat! I think this is a very simple illustrative example, bit more general than the one I came up with. When people are learning about estimators in a frequentist setting I feel that these kind of examples are often missing, they really help you get a better grasp of the concept.

— Gumeo

Another possibility would be (robust) estimators based on minimizing a criterion such as

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ where

e_{i}

$e_i$ is the ith residual and

w

$w$ is some symmetric function, convex or non-convex, with (global) minimum at 0,

w (0) = 0

$w(0)=0$ . The Huber estimator would be an example.

— kjetil b halvorsen

@kjetilbhalvorsen, I now also include the Huber estimator, which actually does rather well.

— Christoph Hanck