Apa perbedaan antara estimator konsisten dan estimator tidak bias?

125

Saya benar-benar terkejut bahwa tidak ada yang tampaknya sudah menanyakan hal ini ...

Saat membahas penaksir, dua istilah yang sering digunakan adalah "konsisten" dan "tidak memihak". Pertanyaan saya sederhana: apa bedanya?

Definisi teknis yang tepat dari istilah ini cukup rumit, dan sulit untuk mendapatkan intuitif merasakan apa yang mereka maksud . Saya bisa membayangkan estimator yang baik, dan estimator yang buruk, tetapi saya mengalami kesulitan melihat bagaimana setiap estimator dapat memenuhi satu kondisi dan bukan yang lain.

unbiased-estimator estimators consistency

— Matematika Matematika
sumber

Sudahkah Anda melihat angka pertama dalam artikel Wikipedia tentang penduga yang konsisten , yang secara khusus menjelaskan perbedaan ini?

— whuber

Saya telah membaca artikel untuk konsistensi dan bias, tetapi saya masih tidak benar-benar memahami perbedaannya. (Angka yang Anda rujuk pada klaim bahwa penaksirnya konsisten tetapi bias, tetapi tidak menjelaskan alasannya .)

— MathematicalOrchid,

Bagian mana dari penjelasan yang perlu Anda bantu? Keterangan menunjukkan bahwa setiap penduga dalam urutan bias dan juga menjelaskan mengapa urutan konsisten. Apakah Anda memerlukan penjelasan tentang bagaimana bias dalam estimator ini terlihat dari gambar?

— whuber

+1 Utas komentar yang mengikuti salah satu jawaban ini sangat mencerahkan, baik untuk apa yang diungkapkannya tentang subjek maupun sebagai contoh menarik tentang bagaimana komunitas online dapat bekerja untuk mengekspos dan memperbaiki kesalahpahaman.

— whuber

Terkait: stats.stackexchange.com/questions/173152/…

— b halvorsen

Jawaban:

126

Untuk mendefinisikan dua istilah tanpa menggunakan terlalu banyak bahasa teknis:

Estimator konsisten jika, ketika ukuran sampel meningkat, estimasi (dihasilkan oleh estimator) "konvergen" ke nilai sebenarnya dari parameter yang diestimasi. Untuk menjadi sedikit lebih tepat - konsistensi berarti bahwa, ketika ukuran sampel bertambah, distribusi sampling dari estimator menjadi semakin terkonsentrasi pada nilai parameter yang sebenarnya.
Penaksir tidak bias jika, rata-rata, itu menyentuh nilai parameter yang sebenarnya. Artinya, rata-rata distribusi sampling pada estimator sama dengan nilai parameter sebenarnya.
Keduanya tidak setara: Ketidakcocokan adalah pernyataan tentang nilai yang diharapkan dari distribusi sampling estimator. Konsistensi adalah pernyataan tentang "di mana distribusi sampling dari estimator berjalan" ketika ukuran sampel meningkat.

Tentu saja mungkin untuk satu syarat dipenuhi tetapi tidak yang lain - saya akan memberikan dua contoh. Untuk kedua contoh, pertimbangkan sampel dari . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Tidak tersedia tetapi tidak konsisten: Misalkan Anda memperkirakan . Maka adalah penaksir yang tidak bias dari karena . Tapi, tidak konsisten karena distribusinya tidak menjadi lebih terkonsentrasi di sekitar dengan meningkatnya ukuran sampel - itu selalu ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Konsisten tetapi tidak bias: Misalkan Anda memperkirakan . Pengukur kemungkinan maksimum adalah mana adalah mean sampel. Adalah fakta bahwa selanjutnya, yang dapat diturunkan menggunakan informasi di sini . Karenanya bias untuk ukuran sampel hingga apa pun. Kita juga dapat dengan mudah memperoleh bahwa Dari fakta-fakta ini kita dapat secara informal melihat bahwa distribusi $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ menjadi lebih dan lebih terkonsentrasi pada karena ukuran sampel meningkat karena rerata konvergen ke dan variansnya konvergen ke . ( Catatan: Ini memang merupakan bukti konsistensi, menggunakan argumen yang sama dengan yang digunakan dalam jawaban di sini ) $\sigma^2$ $\sigma^2$ $0$

— Makro
sumber

(+1) Tidak semua MLE konsisten: hasil umumnya adalah terdapat urutan konsisten dalam urutan MLE. Untuk konsistensi yang tepat diperlukan beberapa persyaratan tambahan, misalnya pengidentifikasian. Contoh MLEs yang tidak konsisten ditemukan dalam model kesalahan-dalam-variabel tertentu (di mana "maksimum" ternyata menjadi sadel-point).

— MånsT

Yah, ELE MLE yang saya sebutkan mungkin bukan contoh yang baik, karena fungsi kemungkinan tidak terikat dan tidak ada maksimum. Mereka adalah contoh yang baik tentang bagaimana pendekatan ML dapat gagal :) Saya minta maaf karena saya tidak dapat memberikan tautan yang relevan saat ini - saya sedang berlibur.

— MånsT

Terima kasih @ MånsT. Kondisi yang diperlukan diuraikan dalam tautan tetapi itu tidak jelas dari kata-katanya.

— Makro

Hanya catatan tambahan: Ruang parameter tentu saja tidak kompak dalam kasus ini, berbeda dengan kondisi pada tautan itu, juga tidak log kemungkinan cekung wrt itu sendiri. Hasil konsistensi yang dinyatakan masih berlaku, tentu saja.

σ^{2}

$\sigma^2$

— kardinal

Anda benar, @ kardinal, saya akan menghapus referensi itu. Sudah cukup jelas bahwa dan tetapi saya tidak ingin menyimpang dari titik dengan mengubah ini menjadi latihan untuk membuktikan konsistensi .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Makro

Konsistensi estimator berarti bahwa ketika ukuran sampel bertambah besar, estimasi semakin dekat dan semakin dekat ke nilai sebenarnya dari parameter. Ketidaksesuaian adalah properti sampel hingga yang tidak terpengaruh oleh peningkatan ukuran sampel. Estimasi tidak bias jika nilai yang diharapkan sama dengan nilai parameter sebenarnya. Ini akan berlaku untuk semua ukuran sampel dan tepat sedangkan konsistensi adalah asimptotik dan hanya kira-kira sama dan tidak tepat.

Mengatakan bahwa estimator tidak bias berarti bahwa jika Anda mengambil banyak sampel ukuran dan menghitung estimasi setiap kali, rata-rata semua estimasi ini akan mendekati nilai parameter sebenarnya dan akan semakin dekat karena jumlah kali Anda melakukan ini meningkat . Rata-rata sampel konsisten dan tidak bias. Estimasi sampel standar deviasi bias tetapi konsisten. $n$

Pembaruan mengikuti diskusi dalam komentar dengan @ cardinal dan @ Macro: Seperti yang dijelaskan di bawah ini ada beberapa kasus patologis di mana varians tidak harus pergi ke 0 untuk estimator untuk sangat konsisten dan bias bahkan tidak harus pergi ke 0 juga.

— Michael Chernick
sumber

@MichaelChernick +1 untuk jawaban Anda tetapi, mengenai komentar Anda, varians dari estimator yang konsisten tidak selalu menuju ke . Misalnya jika adalah sampel dari , , maka adalah penaksir konsisten (kuat) dari , tetapi , untuk semua .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Prastrastator: (+2) Biasnya tidak perlu menyusut ke nol, baik, bahkan ketika rata-rata ada untuk setiap

n

$n$

— kardinal

Michael, isi jawaban Anda cukup bagus; Saya pikir kebingungan itu diperkenalkan oleh komentar pertama Anda, yang mengarah dengan dua pernyataan yang jelas-jelas salah dan titik-titik potensial kebingungan. (Memang, banyak siswa meninggalkan kelas statistik pengantar lulusan dengan kesalahpahaman ini disebabkan oleh penggambaran yang buruk antara berbagai mode konvergensi dan artinya. Komentar terakhir Anda dapat dianggap sedikit di sisi yang keras.)

— kardinal

Sayangnya, dua kalimat pertama dalam komentar pertama Anda dan seluruh komentar kedua salah. Tapi, saya khawatir tidak membuahkan hasil untuk meyakinkan Anda tentang fakta-fakta ini.

— kardinal

Inilah contoh yang jelas tidak masuk akal, tetapi sederhana . Idenya adalah untuk menggambarkan dengan tepat apa yang bisa salah dan mengapa. Itu memang memiliki aplikasi praktis. Contoh : Pertimbangkan model iid khas dengan momen kedua terbatas. Biarkan mana tidak bergantung pada dan masing masing dengan probabilitas dan nol jika tidak, dengan sewenang-wenang. Maka tidak bias, memiliki varians terikat di bawah ini dengan , dan

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ hampir pasti (ini sangat konsisten). Saya meninggalkan sebagai latihan kasus tentang bias.

— kardinal

-5

Konsistensi: dijelaskan dengan sangat baik sebelumnya [ketika ukuran sampel meningkat, estimasi (dihasilkan oleh estimator) "menyatu" dengan nilai sebenarnya dari parameter yang diestimasi]

Ketidakcocokan: Memenuhi asumsi 1-5 MLR yang dikenal sebagai Gauss-Markov Theorem

linearitas,
pengambilan sampel acak
nol harapan kesalahan rata-rata bersyarat
tidak ada collinearity yang sempurna
homoskedastisitas

Kemudian estimator dikatakan BLUE (estimator linier tidak bias terbaik)

— Nikolina Langura
sumber