Alasan intuitif di balik penaksir kemungkinan maksimum yang bias

25

Saya bingung tentang penaksir bias kemungkinan maksimum (ML). Matematika dari seluruh konsep cukup jelas bagi saya, tetapi saya tidak dapat menemukan alasan intuitif di baliknya.

Mengingat dataset tertentu yang memiliki sampel dari distribusi, yang dengan sendirinya merupakan fungsi dari parameter yang ingin kami perkirakan, estimator ML menghasilkan nilai untuk parameter yang paling mungkin menghasilkan dataset tersebut.

Saya tidak dapat secara intuitif memahami estimator ML yang bias dalam arti bahwa: bagaimana mungkin nilai yang paling mungkin untuk parameter memprediksi nilai sebenarnya dari parameter dengan bias terhadap nilai yang salah?

maximum-likelihood bias

— ssah
sumber

Kemungkinan duplikat Estimasi Kemungkinan Maksimum (MLE) dalam istilah awam

— kjetil b halvorsen

Saya pikir fokus pada bias di sini dapat membedakan pertanyaan ini dari duplikat yang diusulkan, meskipun mereka pasti sangat terkait erat.

— Silverfish

14

estimator ML menghasilkan nilai untuk parameter yang paling mungkin terjadi dalam dataset.

Dengan asumsi tersebut, estimator ML adalah nilai parameter yang memiliki peluang terbaik untuk menghasilkan set data.

Saya tidak bisa secara intuitif memahami estimator ML yang bias dalam arti bahwa "Bagaimana mungkin nilai yang paling mungkin untuk parameter memprediksi nilai sebenarnya dari parameter dengan bias terhadap nilai yang salah?"

Bias adalah tentang ekspektasi distribusi sampling. "Kemungkinan besar menghasilkan data" bukan tentang ekspektasi distribusi sampel. Mengapa mereka diharapkan untuk pergi bersama?

Apa dasar yang mengejutkan mereka tidak perlu berkorespondensi?

Saya sarankan Anda mempertimbangkan beberapa kasus sederhana MLE dan merenungkan bagaimana perbedaan muncul dalam kasus-kasus tertentu.

Sebagai contoh, perhatikan pengamatan pada seragam pada . Pengamatan terbesar adalah (tentu saja) tidak lebih besar dari parameter, sehingga parameter hanya dapat mengambil nilai setidaknya sebesar pengamatan terbesar. $(0,\theta)$

Ketika Anda mempertimbangkan kemungkinan , itu (jelas) lebih besar semakin dekat adalah dengan pengamatan terbesar. Jadi dimaksimalkan pada pengamatan terbesar; itu jelas perkiraan untuk yang memaksimalkan peluang untuk mendapatkan sampel yang Anda dapatkan: $\theta$ $\theta$ $\theta$

masukkan deskripsi gambar di sini

Tetapi di sisi lain itu harus bias, karena pengamatan terbesar jelas (dengan probabilitas 1) lebih kecil dari nilai sebenarnya dari ; setiap perkiraan lain dari belum dikesampingkan oleh sampel itu sendiri harus lebih besar dari itu, dan harus (cukup jelas dalam kasus ini) lebih kecil kemungkinannya untuk menghasilkan sampel. $\theta$ $\theta$

Ekspektasi pengamatan terbesar dari adalah , jadi cara biasa untuk unbias adalah dengan mengambil sebagai estimator dari : , di mana adalah observasi terbesar. $U(0,\theta)$ $\frac{n}{n+1}$ $\theta$ $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

Ini terletak di sebelah kanan MLE, dan karena itu memiliki kemungkinan lebih rendah.

— Glen_b -Reinstate Monica
sumber

Terima kasih atas jawaban anda. Tentang bagian pertama, saya menyatakan diri saya tidak benar. Saya pada dasarnya berarti apa yang Anda katakan. Berdasarkan jawaban Anda pada bagian kedua, dapatkah saya menyimpulkan bahwa dengan serangkaian data lain yang diambil dari distribusi yang sama, akankah estimator ML menghasilkan bias yang berbeda? Karena Anda mengatakan bahwa penaksir ML adalah yang "paling mungkin" menghasilkan data. Jika kami mengubah data, beberapa penaksir lain kemungkinan besar akan memproduksinya. Apakah itu benar?

— ssah

Estimator tidak akan berubah jika bentuk distribusi populasi tidak berubah. Beberapa perkiraan lain akan diproduksi dengan sampel yang berbeda dan jumlah yang bias biasanya akan berbeda - bias biasanya terkait dengan ukuran sampel, bahkan jika populasinya sama. ... (

— ctd

(ctd) ... Perhatikan bahwa saya telah melakukan beberapa pengeditan di atas yang mungkin membantu. Dalam konteks contoh saya di atas, dengan sampel yang berbeda (kali ini ukuran daripada , katakanlah) - bentuk penaksir ML masih akan menjadi 'pengamatan terbesar dalam sampel', tetapi perkiraannya akan berbeda ( bahkan dengan sama ), dan biasnya biasanya juga berbeda (karena efek ukuran sampel).

$\quad$

m

$m$

n

$n$

θ

$\theta$

— Glen_b -Reinstate Monica

Penggunaan contoh kanonik yang baik untuk melihat perbedaan antara estimator objektif dan ML.

— jwg

6

$\beta^{MLE}$ bukan nilai yang paling mungkin dari . Nilai yang paling mungkin adalah itu sendiri. memaksimalkan probabilitas menggambar sampel yang sebenarnya kami dapatkan. $\beta$ $\beta$ $\beta^{MLE}$

MLE hanya tidak memihak asimptotik, dan seringkali Anda dapat menyesuaikan estimator agar berperilaku lebih baik dalam sampel terbatas. Sebagai contoh, MLE dari varians dari variabel acak adalah salah satu contoh, di mana mengalikannya dengan mentransformasikannya. $\frac{N}{N-1}$

— Dimitriy V. Masterov
sumber

Maaf atas kesalahan di bagian pertama. Saya mengedit dan memperbaikinya. Tetapi tentang apa yang Anda katakan tentang MLE, mengapa bias pada awalnya dalam kasus non asimptotik?

— ssah

2

"Lebih baik" tergantung pada apa yang Anda lihat; Koreksi Bessel membuatnya tidak bias, tetapi ketidakberpihakan itu sendiri tidak secara otomatis "lebih baik" (misalnya, MSE lebih buruk; mengapa saya lebih suka ketidakberpihakan daripada MSE yang lebih kecil?). Ketidakcocokan mungkin dianggap lebih baik, ceteris paribus , tetapi sayangnya ceteris tidak akan menjadi paribus .

— Glen_b -Reinstate Monica

Pemahaman saya adalah bahwa estimator yang tidak bias dapat ditunjukkan sebagai yang paling tidak bias melalui hubungan antara MLE dan batas bawah Cramer-Rao.

— Dimitriy V. Masterov

@ssah Saya telah diberitahu bahwa itu karena kami menggunakan mean sampel daripada mean sebenarnya dalam rumus. Sejujurnya, saya tidak pernah benar-benar menemukan penjelasan ini sangat intuitif, karena jika penaksir MLE dari rata-rata tidak bias, mengapa ini salah? Saya biasanya menaruh keraguan untuk beristirahat dengan simulasi.

— Dimitriy V. Masterov

5

Inilah intuisi saya.

Bias adalah ukuran akurasi , tetapi ada juga gagasan tentang presisi .

masukkan deskripsi gambar di sini

Di dunia yang ideal, kita akan mendapatkan perkiraan, yang tepat dan akurat, yaitu selalu menyentuh mata banteng. Sayangnya, di dunia kita yang tidak sempurna, kita harus menyeimbangkan akurasi dan presisi. Kadang-kadang kita mungkin merasa bahwa kita bisa memberikan sedikit akurasi untuk mendapatkan lebih banyak presisi: kita berdagang sepanjang waktu. Oleh karena itu, fakta bahwa estimator itu bias tidak berarti itu buruk: bisa jadi itu lebih tepat.

— Aksakal
sumber