Bagaimana seseorang menjelaskan apa yang dimaksud dengan penaksir yang tidak bias terhadap orang awam?

10

Misalkan adalah estimator yang tidak bias untuk . Maka tentu saja, . $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

Bagaimana seseorang menjelaskan hal ini kepada orang awam? Di masa lalu, apa yang saya katakan adalah jika Anda rata-rata banyak nilai , karena ukuran sampel semakin besar, Anda mendapatkan perkiraan yang lebih baik dari . $\hat{\theta}$ $\theta$

Bagi saya, ini bermasalah. Saya pikir apa yang sebenarnya saya jelaskan di sini adalah fenomena tidak memihak yang asimptotis ini , bukannya semata-mata tidak memihak, yaitu, mana kemungkinan tergantung pada .

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

Jadi, bagaimana seseorang menjelaskan apa yang merupakan penduga yang tidak bias bagi seorang awam?

— Klarinetis
sumber

2

Ini cara membuat perkiraan yang hampir benar: biasanya tidak sepenuhnya benar tetapi secara keseluruhan tidak menghasilkan perkiraan terlalu tinggi lebih sering dari pada meremehkan. Saya menyadari bahwa ini membuatnya terdengar seperti

θ

$\theta$ adalah median

\hat{θ}

$\hat \theta$ daripada rata-rata, tetapi saya pikir ini menangkap poin penting.

— jwimberley

3

Saya suka lelucon "tiga ahli statistik yang berburu" (versi di sini ) untuk ini ...

— Ben Bolker

2

Penjelasan Anda adalah Hukum Angka Besar, itu tidak ada hubungannya dengan ketidakberpihakan.

— Xi'an

@ Xi'an: Jika estimator itu bias, batasnya tidak akan .

θ

$\theta$

— user2357112 mendukung Monica

@ user2357112: dalam pemahaman saya (dan lainnya, seperti yang ditunjukkan oleh jawaban sejauh ini), karena ukuran sampel menjadi lebih besar berarti mempertimbangkan ketika tumbuh hingga tak terbatas, yaitu penduga berdasarkan pengamatan. Saya sekarang melihat kalimat itu bisa diartikan berbeda.

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— Xi'an

14

Secara teknis apa yang Anda gambarkan ketika Anda mengatakan bahwa estimator Anda semakin mendekati nilai sebenarnya ketika ukuran sampel bertambah (seperti yang disebutkan orang lain) konsistensi, atau konvergensi estimator statistik. Konvergensi ini dapat berupa konvergensi dalam probabilitas, yang mengatakan bahwa untuk setiap , atau hampir yakin konvergensi yang mengatakan bahwa . Perhatikan bagaimana batas sebenarnya di dalam $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ probabilitas dalam kasus kedua. Ternyata bentuk konvergensi yang terakhir ini lebih kuat daripada yang lain, tetapi keduanya pada dasarnya berarti hal yang sama, yaitu bahwa perkiraan tersebut cenderung semakin dekat dengan hal yang kami perkirakan saat kami mengumpulkan lebih banyak sampel.

Titik halus di sini adalah bahwa bahkan ketika baik dalam probabilitas atau hampir pasti, secara umum tidak benar bahwa , jadi konsistensi tidak menyiratkan ketidakberpihakan asimptotik seperti yang Anda sarankan. Anda harus berhati-hati ketika berpindah di antara urutan variabel acak (yang merupakan fungsi) ke urutan harapan (yang integral). $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

Selain semua hal teknis, tidak bias hanya berarti . Jadi, ketika Anda menjelaskannya kepada seseorang, katakan saja jika percobaan diulangi dalam kondisi yang sama berkali-kali maka nilai rata-rata estimasi akan mendekati nilai sebenarnya. $\text{E}(\hat{\theta}_n) = \theta$

— dsaxton
sumber

5

Visi Anda tentang orang awam ini cukup mengagumkan. Dia tahu apa "konvergensi dalam probabilitas", "sebagai konvergensi", membatasi ... Dia adalah pria dari masa depan.

— Aksakal

2

Saya tidak berpikir orang awam tahu hal-hal ini, saya mencoba untuk memperbaiki kesalahpahaman dalam posting asli. Saran saya tentang bagaimana menjelaskan sesuatu kepada orang awam ada di paragraf terakhir.

— dsaxton

paragraf terakhir itu melibatkan konsep bias dengan konsistensi estimator, yang mungkin merupakan salah satu kebingungan OP untuk memulai.

— Aksakal

3

Bagaimana? Mengulangi percobaan di bawah kondisi yang sama akan berarti bahwa ukuran sampel tetap sehingga kami jelas tidak berbicara tentang konsistensi.

— dsaxton

1

Ok, Anda benar tentang itu, tapi kemudian itu berarti Anda sering melihat kemungkinan

— Aksakal

9

Saya tidak yakin jika Anda mengacaukan konsistensi dan ketidakberpihakan.

Konsistensi: Semakin besar ukuran sampel, semakin kecil varians estimator.

Tergantung pada ukuran sampel

Ketidaktepatan: Nilai yang diharapkan dari estimator sama dengan nilai sebenarnya dari parameter

Tidak tergantung pada ukuran sampel

Jadi, kalimat Anda

jika Anda rata-rata banyak nilai , karena ukuran sampel semakin besar, Anda mendapatkan perkiraan yang lebih baik dari . $\hat\theta$ $\theta$

Tidak benar. Sekalipun ukuran sampel menjadi tak terbatas, estimator yang tidak bias akan tetap menjadi estimator yang tidak bias, mis. Jika Anda memperkirakan mean sebagai "rata-rata +1", Anda dapat menambahkan satu miliar pengamatan ke sampel Anda dan estimator Anda masih tidak akan memberi Anda nilai sebenarnya.

Di sini Anda dapat menemukan diskusi yang lebih mendalam tentang perbedaan antara konsistensi dan ketidakberpihakan.

Apa perbedaan antara estimator konsisten dan estimator tidak bias?

— Ferdi
sumber

2

Sebenarnya saya tidak tahu apa-apa tentang konsistensi, tetapi terima kasih.

— Klarinetis

1

@Clarinetist Consistency mungkin adalah properti paling penting dari estimator, bahwa dengan data yang cukup, Anda akan mendekati jawaban yang benar secara sewenang-wenang.

— Matthew Gunn

7

@ Ferdi sudah memberikan jawaban yang jelas untuk pertanyaan Anda, tetapi mari kita membuatnya sedikit lebih formal.

Mari menjadi sampel Anda variabel acak independen dan terdistribusi secara identik dari distribusi . Anda tertarik untuk memperkirakan kuantitas yang tidak diketahui tetapi tetap , menggunakan estimator sebagai fungsi . Karena adalah fungsi dari variabel acak, perkirakan $X_1,\dots,X_n$ $F$ $\theta$ $g$ $X_1,\dots,X_n$ $g$

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

juga merupakan variabel acak. Kami mendefinisikan bias sebagai

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

estimator tidak bias ketika . $\mathbb{E}_\theta(\hat\theta_n) = \theta$

Mengatakannya dalam bahasa Inggris sederhana: kita berurusan dengan variabel acak , jadi kecuali jika itu merosot , jika kita mengambil sampel yang berbeda, kita bisa berharap untuk mengamati data yang berbeda dan perkiraan yang berbeda pula. Meskipun demikian, kita bisa berharap bahwa di seluruh sampel yang berbeda "rata-rata" diperkirakan akan "benar" jika estimatornya tidak bias. Jadi itu tidak akan selalu benar, tetapi "rata-rata" itu akan benar. Ini tidak selalu selalu "benar" karena keacakan terkait dengan data. $\hat\theta_n$

Seperti yang telah dicatat oleh orang lain, fakta bahwa estimasi Anda menjadi "lebih dekat" dengan jumlah yang diperkirakan saat sampel Anda tumbuh, yaitu bahwa dalam konvergensi dalam probabilitas

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

berkaitan dengan konsistensi penduga , bukan ketidakberpihakan. Ketidakcocokan saja tidak memberi tahu kami apa pun tentang ukuran sampel dan hubungannya dengan perkiraan yang diperoleh. Selain itu, penaksir yang tidak bias tidak selalu tersedia dan tidak selalu lebih disukai daripada yang bias. Misalnya, setelah mempertimbangkan pengorbanan varians-ragam, Anda mungkin bersedia mempertimbangkan untuk menggunakan estimator dengan bias yang lebih besar, tetapi varians yang lebih kecil - jadi "rata-rata" akan lebih jauh dari nilai sebenarnya, tetapi lebih sering (varians lebih kecil) estimasi akan lebih dekat ke nilai sebenarnya, maka dalam hal penduga tidak bias.

— Tim
sumber

(+1): titik yang sangat baik untuk membawa fakta bahwa jarang ada penaksir yang tidak bias tersedia. Dan menyebutkan bias / varians oposisi.

— Xi'an

2

Pertama, Anda harus membedakan bias kesalahpahaman dari bias statistik, terutama untuk orang awam.

Pilihan mengatakan menggunakan median, nilai tengah atau mode sebagai penaksir Anda untuk rata-rata populasi , sering kali berisi bias keyakinan politik, agama, atau sains. Perhitungan yang estimator adalah bentuk rata - rata terbaik adalah dari jenis yang berbeda dengan aritmatika yang mempengaruhi bias statistik.

Setelah Anda melewati bias pemilihan metode, maka Anda dapat mengatasi bias potensial dalam metode estimasi. Pertama, Anda harus memilih metode yang dapat memiliki bias, dan mekanisme yang mengarah dengan mudah ke arah bias itu.

Bisa lebih mudah menggunakan membagi sudut pandang penaklukan di mana menjadi jelas saat ukuran sampel semakin kecil, estimasi menjadi jelas bias. Misalnya faktor n-1 (vs 'n' faktor) dalam penduga penyebaran sampel menjadi jelas karena n turun dari 3 menjadi 2 menjadi 1!

Itu semua tergantung pada seberapa 'awam' orang tersebut.

— Philip Oakley
sumber

Saya khawatir Anda mungkin berbicara tentang berbagai jenis bias yang ada dalam pertanyaan. Bisakah Anda mencoba menjadi lebih spesifik tentang bias? Anda menulis tentang "bias potensial dalam metode estimasi" dan ini tampaknya tidak sesuai dengan definisi bias (diberikan dalam pertanyaan dan jawaban di atas). Pada akhirnya, ini membuat jawaban Anda membingungkan ...

— Tim

@Tim, langkah pertama adalah memastikan bias manusia telah tertutup. Langkah kedua adalah (dan sebagian mengikuti isu-isu dari langkah 1) untuk memastikan bahwa pengajaran orang awam belum memilih metode X (yang tidak bias). mis. Standar deviasi adalah 1 / n * jumlah ((rata-rata x) ^ 2), tetapi itu (hati-hati) tidak membedakan antara populasi dan sampel. Sebagian besar 'orang awam' diajarkan versi 1 / (N-1) tanpa berpikir untuk sampel. Jika Anda hanya memiliki satu metode, Anda (orang awam) tidak punya pilihan untuk dibuat, sehingga bias penaksir tidak dapat menjadi masalah ... Ini adalah langkah Kruger-Dunning.

— Philip Oakley