Apakah estimator kemungkinan maksimum tidak bias selalu merupakan estimator terbaik yang tidak bias?

22

Saya tahu untuk masalah reguler, jika kita memiliki penaksir tidak bias reguler terbaik, itu harus penaksir kemungkinan maksimum (MLE). Tetapi secara umum, jika kita memiliki MLE yang tidak bias, apakah itu juga akan menjadi penaksir tidak bias yang terbaik (atau mungkin saya harus menyebutnya UMVUE, asalkan memiliki varian terkecil)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Gary Cheng
sumber

3

Pertanyaan menarik. MLE adalah fungsi dari statistik yang cukup, dan UMVUE dapat diperoleh dengan mengkondisikan statistik yang lengkap dan memadai. Jadi jika MLE tidak bias (dan fungsi dari statistik yang memadai), satu-satunya cara yang mungkin untuk tidak memiliki varians minimum adalah jika statistik yang cukup tidak lengkap. Saya mencoba mencari contoh, tetapi tidak berhasil.

— Greenparker

2

Dan inilah beberapa informasi singkat tentang statistik yang cukup dan lengkap.

— Richard Hardy

10

Masalah sebenarnya lebih bahwa MLE jarang tidak bias: jika adalah penaksir tidak bias dari dan MLE dari , adalah MLE dari tetapi bias untuk sebagian besar transformasi bijective .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Xi'an

1

Apakah ini relevan? "Perkiraan populasi yang hampir tidak bias berarti" Vyas Dubey Pt.Ravishankar Shukla University, Raipur, India

2

+1 untuk komentar Xi'ans. Penaksir terbaik berarti varians minimal, tidak bias berarti sesuatu yang lain. Jadi saya tidak yakin Anda dapat mulai mencoba membuktikannya, karena yang satu tidak ada hubungannya dengan yang lain. Tetapi bahkan sebelum saya memulai derivasi saya sendiri, saya ingin melihat upaya serius dalam (coba a) bukti. Saya akan mengatakan bahwa bahkan bukti pernyataan pertama (MLE optimal untuk kasus-kasus tertentu) tidak sepele.

— kerub

13

Menurut pendapat saya, pertanyaan tidak benar-benar koheren dalam maksimalisasi kemungkinan dan unbiasedness tidak akur, jika hanya karena MLE adalah equivariant , yaitu transformasi dari estimator adalah estimator dari transformasi parameter, sementara ketidakberpihakan tidak berdiri di bawah transformasi non-linear. Oleh karena itu, penaksir kemungkinan maksimum hampir tidak pernah tidak memihak, jika "hampir" dipertimbangkan pada kisaran semua parameter yang mungkin.

Namun, ada jawaban yang lebih langsung untuk pertanyaan: ketika mempertimbangkan estimasi varians Normal, , UMVUE dari adalah sedangkan MLE dari adalah Ergo, mereka berbeda. Ini menyiratkan bahwa $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{saya = 1}^{n} {x_{saya} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{saya = 1}^{n} {x_{saya} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

jika kita memiliki penaksir bias reguler terbaik, itu harus penaksir kemungkinan maksimum (MLE).

tidak berlaku secara umum.

Catat lebih jauh bahwa, bahkan ketika ada penduga yang tidak bias dari suatu parameter , tidak perlu selalu penaksir varians minimum yang tidak bias terbaik (UNMVUE). $\theta$

— Xi'an
sumber

Jadi dapatkah kita mengatakan bahwa MLE yang tidak bias itu adalah (U) MVUE, tetapi tidak setiap (U) MVUE adalah MLE?

— Sextus Empiricus

2

Tidak, kami tidak punya alasan untuk percaya ini benar secara umum.

— Xi'an

13

Tetapi secara umum, jika kita memiliki MLE yang tidak bias, apakah itu juga akan menjadi penaksir tidak bias yang terbaik?

Jika ada statistik yang cukup lengkap, ya .

Bukti:

Teorema Lehmann – Scheffé : Setiap penaksir tidak bias yang merupakan fungsi dari statistik yang cukup lengkap adalah yang terbaik (UMVUE).
MLE adalah fungsi dari setiap statistik yang memadai. Lihat 4.2.3 di sini ;

Jadi MLE yang tidak bias adalah yang terbaik selama statistik yang cukup lengkap ada.

Tetapi sebenarnya hasil ini hampir tidak memiliki kasus aplikasi karena statistik yang cukup lengkap hampir tidak pernah ada. Itu karena statistik yang cukup lengkap ada (pada dasarnya) hanya untuk keluarga eksponensial di mana MLE paling sering bias (kecuali parameter lokasi dari Gaussians).

Jadi jawaban sebenarnya sebenarnya tidak .

$p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE tidak bias
itu didominasi oleh penaksir tidak bias lain yang dikenal sebagai penaksir ekuivalen Pitman

$p$

— Benoit Sanchez
sumber

Mengapa ini tidak memiliki nilai tertinggi? Saya merasa jawaban ini lebih baik daripada jawaban Xian.

— Red Floyd

0

Varians asimptotik MLE adalah UMVUE yaitu mencapai cramer rao batas bawah tetapi varian terbatas mungkin bukan UMVUE untuk memastikan bahwa penaksir UMVUE itu harus cukup dan melengkapi statistik atau fungsi statistik apa pun.

— serhat simsek
sumber

0

Singkatnya, estimator adalah UMVUE, jika tidak bias dan fungsi statistik yang lengkap dan memadai. (Lihat Rao-Blackwell dan Scheffe)

— creutzml
sumber

Yang berarti ini terbatas pada keluarga eksponensial.

— Xi'an