Apakah penduga efisien efisien tidak bias dominan secara stokastik dibandingkan dengan penduga tidak bias (median) lainnya?

Gambaran umum

Apakah estimator yang efisien (yang memiliki varians sampel sama dengan batas Cramér-Rao) memaksimalkan probabilitas untuk menjadi dekat dengan parameter sebenarnya ? $\theta$

Katakanlah kita membandingkan perbedaan atau perbedaan absolut antara taksiran dan parameter sebenarnya

\hat{Δ} = \hat{θ} - θ

$\hat\Delta = \hat \theta - \theta$

Apakah distribusi untuk estimator efisien yang secara stokastik dominan di atas distribusi untuk estimator tidak bias lainnya? $\hat\Delta$ $\tilde\Delta$

Motivasi

Saya memikirkan hal ini karena pertanyaan Pengukur yang optimal di bawah semua fungsi yang masuk akal (evaluasi) dimana kita dapat mengatakan bahwa penaksir terbaik yang tidak bias sehubungan dengan satu fungsi kerugian cembung juga merupakan penaksir terbaik yang tidak bias sehubungan dengan fungsi kerugian lainnya (Dari Iosif Pinelis, 2015, Karakterisasi estimator terbaik yang tidak bias. ArXiv preprint arXiv: 1508.07636 ). Dominasi stokastik karena dekat dengan parameter sebenarnya tampaknya sama dengan saya (ini adalah kondisi yang cukup, dan pernyataan yang lebih kuat).

Ekspresi yang lebih tepat

Pernyataan pertanyaan di atas adalah luas, misalnya jenis ketidakberpihakan apa yang dipertimbangkan dan apakah kita memiliki metrik jarak yang sama untuk perbedaan negatif dan positif?

Mari kita perhatikan dua kasus berikut untuk membuat pertanyaan kurang luas: $^\dagger$

Dugaan 1: Jika adalah penaksir rata-rata dan median yang tidak bias. Kemudian untuk setiap penaksir rata-rata dan rata-rata mana dan $\hat \theta$ $\tilde \theta$

if x > 0 kemudian P [\hat{Δ} \leq x] \geq P [\tilde{Δ} \leq x] jika x < 0 kemudian P [\hat{Δ} \geq x] \geq P [\tilde{Δ} \geq x]

$\text{if $x>0$ then } P[\hat\Delta \leq x] \geq P[\tilde\Delta \leq x] \\ \text{if $x<0$ then } P[\hat\Delta \geq x] \geq P[\tilde\Delta \geq x]$

\hat{Δ} = \hat{θ} - θ

$\hat \Delta = \hat \theta - \theta$

\tilde{Δ} = \tilde{θ} - θ

$\tilde \Delta = \tilde \theta - \theta$

Dugaan 2: Jika adalah estimator rata-rata yang efisien. Kemudian untuk setiap penaksir rata-rata yang tidak bias dan $\hat \theta$ $\tilde \theta$ $x>0$

P [| \hat{Δ} | \geq x] \leq P [| \tilde{Δ} | \geq x]

$P[\vert \hat\Delta \vert \geq x] \leq P[\vert \tilde\Delta \vert \geq x]$

Apakah dugaan di atas benar?
Jika proposisi terlalu kuat, dapatkah kita menyesuaikannya agar berhasil?

^{$\dagger$ Yang kedua terkait dengan yang pertama tetapi menjatuhkan batasan untuk median-bias (dan kemudian kita perlu mengambil kedua sisi bersama-sama atau proposisi akan menjadi salah untuk setiap penaksir yang memiliki median yang berbeda dari penaksir yang efisien).}

Contoh, ilustrasi:

Pertimbangkan estimasi mean dari distribusi populasi (yang diasumsikan berdistribusi normal) oleh (1) median sampel dan (2) sampel berarti. $\mu$

Dalam kasus sampel ukuran 5, dan ketika distribusi sebenarnya dari populasi adalah ini terlihat seperti $N(0,1)$

Dalam gambar kita melihat bahwa CDF terlipat dari mean sampel (yang merupakan penaksir efisien untuk ) berada di bawah CDF yang dilipat dari median sampel. Pertanyaannya adalah apakah CDF yang dilipat dari mean sampel berada di bawah CDF yang dilipat dari estimator yang tidak bias lainnya. $\mu$

Sebagai alternatif, dengan menggunakan CDF alih-alih CDF terlipat, kita dapat mengajukan pertanyaan apakah CDF rata-rata memaksimalkan jarak dari 0,5 di setiap titik. Kita tahu bahwa

\forall \hat{θ} : | F_{m e Sebuah n} (\hat{θ}) - 0,5 | \geq | F_{m e d saya Sebuah n} (\hat{θ}) - 0,5 |

$\forall \hat \theta : |F_{mean}(\hat \theta)-0.5| \geq |F_{median}(\hat \theta)-0.5|$

apakah kita juga punya ini ketika kita ganti $F_{median}(\hat \theta)$ untuk distribusi penaksir rata-rata dan median-tidak bias lainnya?

— Sextus Empiricus
sumber

Periksa Pitman nearnesskata kunci, bukan karena saya menemukan kriteria ini masuk akal.

— Xi'an

Dari dugaan tersebut, tampaknya lebih masuk akal untuk menggunakan penaksir median-bias daripada penduga rata-rata. (Penaksir yang tidak sesuai ada dalam beberapa pengaturan dan tidak bias terbaik dalam pengaturan yang lebih sedikit.)

— Xi'an

'Kriteria kedekatan Pitman' memang menarik. Berdasarkan informasi di wikipedia saya melihatnya sebagai "probabilitas untuk perbedaan absolut menjadi lebih dekat". Ini sedikit berbeda. Kriteria kedekatan Pitman ini dapat menciptakan kasus menarik di mana beberapa penaksir rata-rata memiliki perbedaan absolut yang lebih kecil tetapi tidak menang sesuai dengan kriteria kedekatan ini.

— Sextus Empiricus

Kriteria yang Anda usulkan adalah invarian dengan transformasi monoton bijective, tetapi mean-bias tidak, sedangkan median-bias adalah. Ini juga sangat kuat dalam hal

\hat{θ}

$\hat\theta$ harus di atas cdf dari

\tilde{θ}

$\tilde\theta$ atas

θ

$\theta$ dan di bawah cdf dari

\tilde{θ}

$\tilde\theta$ di bawah

θ

$\theta$ , untuk semua nilai parameter

θ

$\theta$ .

— Xi'an

@ Xi'an Saya telah menambahkan contoh visual dan sekarang saya mendapatkan komentar Anda tentang bias-median versus bias-rata. Saya telah menyesuaikan pertanyaan (meskipun itu menyimpang dari ide awal saya terkait dengan pertanyaan terkait yang membutuhkan beberapa penyesuaian yang lebih kompleks sekarang).

— Sextus Empiricus

Berikut ini adalah percobaan dalam kasus non-standar, masalah lokasi Cauchy, di mana non-standar berarti bahwa tidak ada penduga merata terbaik yang seragam. Mari kita perhatikan $(X_1,\ldots,X_N)$ sampel dari Cauchy $\mathcal{C}(\mu,1)$ distribusi dan empat penaksir invarian berikut $\mu$ :

$\hat{\mu}_1= \text{median}(X_1,\ldots,X_N)=X_{(N/2)}$
$\hat{\mu}_2= \text{mean}(X_{(N/4)},\ldots,X_{(3N/4)})=\frac{2}{N}(X_{(N/4)}+\ldots+X_{(3N/4)})$
$\hat{\mu}_3=\mu^\text{MLE}$ mana yang efisien
$\hat{\mu}_4=\hat{\mu}_1+\frac{2}{N}\frac{\partial \ell}{\partial \mu}(\hat{\mu}_1)$

Kemudian membandingkan cdf dari empat penaksir mengarah ke gambar ini, di mana cdf dari $\hat{\mu}_3$ (emas) dan $\hat{\mu}_4$ (tomat) dapat dibandingkan, dan membaik $\hat{\mu}_1$ (Steelblue), itu sendiri membaik $\hat{\mu}_2$ (sienna).

Representasi perbedaan pada cdf empiris MLE membuatnya lebih jelas:

Berikut adalah kode R yang sesuai:

T=1e4
N=11
mlechy=function(x){
  return(optimize(function(theta) -sum(dcauchy(x, 
    location=theta, log=TRUE)),  c(-100,100))$minimum)
}
est=matrix(0,T,4)
for (t in 1:T){
cauc=sort(rcauchy(N))
est[t,1]=median(cauc)
est[t,2]=mean(cauc[4:8])
est[t,3]=mlechy(cauc)
est[t,4]=est[t,1]+(4/N)*sum((cauc-est[t,1])/(1+(cauc-est[t,1])^2))
}

plot(ecdf(est[,1]),col="steelblue",cex=.4,xlim=c(-1,1),main="",ylab="F(x)")
plot(ecdf(est[,2]),add=TRUE,col="sienna",cex=.4)
plot(ecdf(est[,3]),add=TRUE,col="gold",cex=.4)
plot(ecdf(est[,4]),add=TRUE,col="tomato",cex=.4)

— Xi'an
sumber

Bukankah seharusnya kurva emas (perbedaan MLE empiris dengan dirinya sendiri) menjadi nol dalam plot perbedaan.

— Sextus Empiricus

Buruk saya, saya mengubah kode warna: tomat untuk perbedaan dengan yang keempat, emas untuk perbedaan dengan Pitman, sienna untuk perbedaan dengan rata-rata yang dipangkas, dan biru untuk perbedaan dengan median.

— Xi'an