Apakah teori estimasi varians minimum tidak bias terlalu ditekankan di sekolah pascasarjana?

Baru-baru ini saya sangat malu ketika saya memberikan jawaban spontan tentang estimasi varians minimum yang tidak bias untuk parameter distribusi seragam yang benar-benar salah. Untungnya saya segera dikoreksi oleh kardinal dan Henry dengan Henry memberikan jawaban yang benar untuk OP .

Ini membuat saya berpikir. Saya belajar teori estimator terbaik yang tidak bias di kelas stat matematika saya di Stanford sekitar 37 tahun yang lalu. Saya memiliki ingatan tentang teorema Rao-Blackwell, Cramer - Rao batas bawah dan Teorema Lehmann-Scheffe. Tetapi sebagai ahli statistik terapan saya tidak terlalu memikirkan UMVUE dalam kehidupan sehari-hari saya sedangkan estimasi kemungkinan maksimum muncul banyak.

Mengapa demikian? Apakah kita terlalu menekankan teori UMVUE terlalu banyak di sekolah pascasarjana? Aku pikir begitu. Pertama-tama ketidakberpihakan bukan properti yang penting. Banyak MLE yang sangat baik bias. Estimator penyusutan Stein bersifat bias tetapi mendominasi MLE yang tidak bias dalam hal kehilangan kesalahan rata-rata. Ini adalah teori yang sangat indah (estimasi UMVUE), tetapi sangat tidak lengkap dan saya pikir tidak terlalu berguna. Apa yang dipikirkan orang lain?

estimation point-estimation

— Michael Chernick
sumber

(+1) Saya setuju bahwa ini akan menjadi pertanyaan yang bagus untuk situs utama dan akan meningkatkannya. Ini agak subyektif, jadi mungkin yang terbaik sebagai pertanyaan CW. (Juga, tidak ada alasan untuk malu.)

— kardinal

Saya tidak berpikir bahwa, secara umum, estimasi semacam ini terlalu ditekankan. Saya ingat bahwa profesor saya dulu lebih fokus pada contoh-contoh di mana UMVUE "konyol". Orang cenderung menggunakan penduga titik yang dimiliki oleh teori populer, demi keselamatan, tetapi ada teori lengkap untuk memperkirakan persamaan. Beberapa profesor fokus pada UMVUE karena mereka adalah sumber masalah yang sulit untuk pekerjaan rumah. Saya pikir pengurangan bias adalah teori yang lebih populer dan berguna saat ini daripada menemukan UMVUE (yang tidak selalu ada).

Kami melihat banyak pertanyaan di sini di UMVUE saya kira karena mereka membuat masalah pekerjaan rumah yang baik. Mungkin ini lebih merupakan masalah dengan program statistik tingkat sarjana dan master daripada dengan program PhD.

— Michael R. Chernick

Nah, estimasi UMVU adalah ide klasik jadi haruskah mungkin diajarkan karena alasan itu? Dan itu adalah titik awal yang baik untuk mendiskusikan / mengkritisi kriteria seperti ketidakberpihakan! Hanya karena mereka tidak begitu banyak digunakan dalam praktek, itu sendiri bukanlah alasan untuk tidak mengajar mereka.

— kjetil b halvorsen

Penekanannya cenderung bervariasi antar waktu dan departemen. Departemen saya menyajikan materi dalam kursus stat matematika tahun pertama, tetapi setelah itu hilang, jadi saya tidak bisa mengatakan bahwa itu terlalu ditekankan (bahkan dalam kursus inferensi PhD, biasanya tidak diajarkan, lebih disukai waktu dengan Bayesian dan penduga minimum, estimasi, dan estimasi multivariat), meskipun saya berharap ada lebih banyak penekanan pada mengapa bias adalah hal yang berguna dan karenanya mengapa estimasi bias adalah paradigma ekstrim yang tidak perlu.

— lelaki

Jawaban:

Kami tahu itu

Jika menjadi sampel acak dari maka untuk setiap adalah UE dari $X_1,X_2, \dots X_n$ $Poisson(\lambda)$ $\alpha \in (0,1),~T_\alpha =\alpha \bar X+(1-\alpha)S^2$ $\lambda$

Oleh karena itu ada banyak UE dari . Sekarang muncul pertanyaan yang mana dari yang harus kita pilih? jadi kami memanggil UMVUE. Sepanjang ketidakberpihakan bukanlah properti yang baik tetapi UMVUE adalah properti yang baik. Tapi itu tidak terlalu bagus. $\lambda$

Jika menjadi sampel acak dari maka penaksir MSE minimum dari bentuk , dengan untuk parameter , adalah $X_1,X_2, \dots X_n$ $N(\mu, \sigma^2)$ $T_\alpha =\alpha S^2$ $(n-1)S^2=\sum_{i=1}^{n}(X_i-\bar X)^2$ $\sigma^2$ Tetapi biasyangtidak UMVUE meskipun yang terbaik adalah dalam hal MSE minimum. $\frac{n-1}{n+1}S^2=\frac{1}{n+1}\sum_{i=1}^{n}(X_i-\bar X)^2$

Perhatikan bahwa Teorema Rao-Blackwell mengatakan bahwa untuk menemukan UMVUE kita hanya dapat berkonsentrasi pada UE yang merupakan fungsi dari statistik yang cukup yaitu UMVUE adalah penaksir yang memiliki varian minimum di antara semua UE yang merupakan fungsi dari statistik yang cukup. Oleh karena itu UMVUE merupakan fungsi dari statistik yang memadai.

MLE dan UMVUE keduanya bagus dari sudut pandang. Tetapi kita tidak pernah dapat mengatakan bahwa salah satu dari mereka lebih baik daripada yang lain. Dalam statistik kami menangani data yang tidak pasti dan acak. Jadi selalu ada ruang untuk perbaikan. Kami mungkin mendapatkan estimator yang lebih baik daripada MLE dan UMVUE.

Saya pikir kita tidak terlalu menekankan teori UMVUE terlalu banyak di sekolah pascasarjana. Ini murni pandangan pribadi saya. Saya pikir tahap kelulusan adalah tahap pembelajaran. Jadi, seorang siswa yang lulus harus memiliki dasar yang baik tentang UMVUE dan penduga lainnya,

— Argha
sumber

Saya pikir teori inferensi valid apa pun baik untuk diketahui. Sementara ketidakberpihakan bisa menjadi properti yang baik, bias tidak selalu buruk. Ketika penekanan diletakkan pada UMVUE akan ada kecenderungan untuk atribut "optimalitas" untuk itu. Tetapi mungkin tidak ada penaksir yang sangat bagus di kelas penaksir yang tidak memihak. Akurasi penting dan melibatkan bias dan varians. Apa yang lebih baik tentang MLE adalah bahwa ada kondisi di mana ia dapat terbukti efisien asimptotik.

— Michael R. Chernick

Perhatikan bahwa teorema Rao-Blackwell juga dapat digunakan untuk meningkatkan penduga yang bias, menghasilkan penduga yang ditingkatkan dengan bias yang sama.

— kjetil b halvorsen

Mungkin makalah karya Brad Efron "Maximum Likelihood and Decision Theory" dapat membantu memperjelas hal ini. Brad menyebutkan bahwa satu kesulitan utama dengan UMVUE adalah bahwa secara umum sulit untuk dihitung, dan dalam banyak kasus tidak ada.

— Jiantao Jiao
sumber