mengapa ketidakberpihakan tidak menyiratkan konsistensi

Saya membaca pembelajaran yang mendalam oleh Ian Goodfellow et al. Ini memperkenalkan bias sebagai

B saya Sebuah s (θ) = E (\hat{θ}) - θ

$Bias(\theta)=E(\hat\theta)-\theta$ dimana

\hat{θ}

$\hat\theta$ dan

θ

$\theta$ masing-masing adalah taksiran parameter dan parameter nyata yang mendasarinya.

Konsistensi, di sisi lain, ditentukan oleh

{l saya m}_{m \to \infty} {\hat{θ}}_{m} = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$ artinya untuk apa saja

ϵ > 0

$\epsilon > 0$ ,

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$ sebagai

m \to \infty

$m\to\infty$

Kemudian dikatakan konsistensi menyiratkan ketidakberpihakan tetapi tidak sebaliknya:

Konsistensi memastikan bahwa bias yang disebabkan oleh estimator berkurang ketika jumlah contoh data bertambah. Namun, kebalikannya tidak benar — ketidakberpihakan asimptotik tidak menyiratkan konsistensi. Sebagai contoh, pertimbangkan memperkirakan parameter rata-rata μ dari distribusi normal N (x; μ, σ2), dengan dataset yang terdiri dari sampel m: ${x^{(1)}, . . . , x^{(m)}}$ . Kita bisa menggunakan sampel pertama $x^{(1)}$ dataset sebagai penaksir tidak bias: . Dalam hal ini, sehingga estimatornya tidak bias, tidak peduli berapa banyak titik data yang terlihat. Ini, tentu saja, menyiratkan bahwa estimasi tersebut asimtotik tidak bias. Namun, ini bukan penaksir yang konsisten karena ini bukan kasus yang sebagai $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

Saya tidak yakin apakah saya telah memahami paragraf di atas dan konsep-konsep ketidakberpihakan dan konsistensi dengan benar, saya harap seseorang dapat membantu saya memeriksanya. Terima kasih sebelumnya.

Sejauh yang saya mengerti, konsistensi menyiratkan baik ketidakberpihakan dan varians rendah dan oleh karena itu, ketidakberpihakan saja tidak cukup untuk menyiratkan konsistensi.

— Mungkin
sumber

Jika bias = 0 dan varians-> 0, maka konsisten. Dan jika bias-> 0 dan varians-> 0, itu konsisten; ini adalah "tidak bias asimptotik". Keduanya mengikuti dari fakta bahwa error kuadrat yang diharapkan = bias ^ 2 + varians.

— user54038

Itu tidak mengatakan bahwa konsistensi menyiratkan ketidakberpihakan, karena itu akan salah. Sebagai contoh, estimator adalah estimator yang konsisten untuk mean sampel, tetapi tidak bias. Apa yang dikatakan cuplikan di atas adalah bahwa konsistensi mengurangi jumlah bias yang disebabkan oleh penaksir bias !. Dalam kasus sampel rata-rata, perbedaan antara dan menjadi diabaikan ketika meningkat

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

— Yannis Vassiliadis

Apakah Anda yakin itu tidak bias? Saya percaya itu tidak bias: 1 / n kali jumlah akan bias.

— eSurfsnake

@ Eurfsnake itu untuk varians sampel. Untuk sampel yang berarti yang saya sebutkan di atas, keduanya tidak bias dan konsisten, sedangkan hanya konsisten.

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

— Yannis Vassiliadis

OK - saya pikir Anda bertanya tentang varians.

— eSurfsnake

Jawaban:

Dalam paragraf itu penulis memberikan contoh ekstrem untuk menunjukkan bagaimana bersikap tidak memihak tidak berarti bahwa variabel acak berkumpul pada apa pun.

Penulis mengambil sampel acak dan ingin memperkirakan . Memperhatikan bahwa , kami dapat menghasilkan penaksir yang tidak bias dari dengan hanya mengabaikan semua data kami kecuali poin pertama . Tapi itu jelas ide yang buruk, jadi ketidakberpihakan saja bukanlah kriteria yang baik untuk mengevaluasi penduga. Entah bagaimana, saat kami mendapatkan lebih banyak data, kami ingin penaksir kami bervariasi lebih sedikit dan lebih sedikit dari , dan itulah yang dikatakan konsistensi: untuk jarak berapa pun , probabilitas bahwa lebih dari jauh dari $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ menuju ke sebagai . Dan ini dapat terjadi bahkan jika untuk setiap terbatas . Contohnya adalah estimator varians dalam sampel normal. Ini bias tetapi konsisten. $0$ $n \to \infty$ $n$ $\hat \theta$ $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

Secara intuitif, statistik tidak bias jika persis sama dengan jumlah target ketika dirata-rata atas semua sampel yang mungkin. Tetapi kita tahu bahwa rata-rata banyak hal tidak harus mendekati rata-rata; ini hanya versi yang lebih bagus tentang bagaimana rata-rata dan adalah , meskipun atau tidak mendekati (tergantung pada bagaimana Anda mengukur "tutup"). $0$ $1$ $1/2$ $0$ $1$ $1/2$

Berikut contoh lain (walaupun ini hampir sama dengan contoh yang sama). Biarkan dan biarkan . Estimator kami dari akan menjadi . Perhatikan bahwa jadi kami memang memiliki penaksir yang tidak bias. Tetapi jadi penaksir ini pasti tidak konvergen pada sesuatu yang dekat dengan , dan untuk setiap kita sebenarnya masih memiliki . $X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

— jld
sumber

Kebalikannya juga salah. Estimator dapat memiliki bias dan varians yang keduanya menuju ke 0 saat n mendekati tak terhingga membuatnya konsisten. Tetapi untuk setiap n akan bias karena akan memiliki bias non-nol, Misalnya estimasi varians dengan n dalam penyebutnya adalah bias dan konsisten sedangkan jika Anda membaginya dengan n-1 akan bias dan tidak konsisten.

— Michael R. Chernick

Sejauh yang saya mengerti, konsistensi menyiratkan baik ketidakberpihakan dan varians rendah dan oleh karena itu, ketidakberpihakan saja tidak cukup untuk menyiratkan konsistensi.

Baik. Atau menggunakan istilah "akurasi" yang sedikit lebih awam untuk bias rendah, dan "presisi" untuk varians rendah, konsistensi mengharuskan kita menjadi akurat dan tepat. Menjadi akurat bukan berarti kita mencapai sasaran. Ini seperti lelucon lama tentang dua ahli statistik yang pergi berburu. Satu merindukan rusa sepuluh kaki ke kiri. Yang lain meleset sepuluh kaki ke kanan. Mereka kemudian saling memberi selamat atas dasar bahwa, rata-rata, mereka menabrak rusa. Meskipun bias mereka nol, untuk benar-benar menabrak rusa, mereka juga perlu varian rendah.

— Akumulasi
sumber