OLS BIRU. Tetapi bagaimana jika saya tidak peduli tentang ketidakberpihakan dan linearitas?

Teorema Gauss-Markov memberi tahu kita bahwa penaksir OLS adalah penaksir tidak bias linier terbaik untuk model regresi linier.

Tapi seandainya saya tidak peduli tentang linearitas dan ketidakberpihakan. Lalu apakah ada beberapa penaksir (kemungkinan nonlinier / bias) lainnya untuk model regresi linier yang merupakan yang paling efisien berdasarkan asumsi Gauss-Markov atau beberapa asumsi umum lainnya?

Tentu saja ada satu hasil standar: OLS sendiri adalah penaksir terbaik yang tidak bias jika selain asumsi Gauss-Markov kami juga mengasumsikan bahwa kesalahan didistribusikan secara normal. Untuk beberapa distribusi kesalahan tertentu saya dapat menghitung estimator maksimum-likelihood yang sesuai.

Tapi saya bertanya-tanya apakah ada beberapa estimator yang lebih baik daripada OLS dalam beberapa keadaan yang relatif umum?

Perkiraan tidak berdasar adalah tipikal dalam kursus statistik pengantar karena mereka adalah: 1) klasik, 2) mudah dianalisis secara matematis. Batas bawah Cramer-Rao adalah salah satu alat utama untuk 2). Jauh dari perkiraan yang tidak bias, ada kemungkinan peningkatan. Trade-variance trade off adalah konsep penting dalam statistik untuk memahami bagaimana estimasi bias menjadi lebih baik daripada estimasi bias.

Sayangnya, penaksir yang bias biasanya lebih sulit untuk dianalisis. Dalam regresi, sebagian besar penelitian dalam 40 tahun terakhir adalah tentang estimasi bias. Ini dimulai dengan regresi ridge (Hoerl dan Kennard, 1970). Lihat Frank dan Friedman (1996) dan Burr and Fry (2005) untuk beberapa ulasan dan wawasan.

Tradeoff bias-varians menjadi lebih penting dalam dimensi tinggi, di mana jumlah variabelnya besar. Charles Stein mengejutkan semua orang ketika ia membuktikan bahwa dalam masalah Normal berarti rata-rata sampel tidak lagi dapat diterima jika (lihat Stein, 1956). Penaksir James-Stein (James dan Stein 1961) adalah contoh pertama dari penaksir yang mendominasi mean sampel. Namun, itu juga tidak bisa diterima.$p \geq 3$

Bagian penting dari masalah bias-varians adalah menentukan bagaimana bias harus ditukar. Tidak ada penaksir tunggal "terbaik" . Sparsity telah menjadi bagian penting dari penelitian dalam dekade terakhir. Lihat Hesterberg et al. (2008) untuk tinjauan parsial.

$Y$

Saya tidak tahu apakah Anda setuju dengan Bayes Estimate? Jika ya, maka tergantung pada fungsi Kerugian Anda dapat memperoleh Estimasi Bayes yang berbeda. Teorema oleh Blackwell menyatakan bahwa Estimasi Bayes tidak pernah bias. Argumen teoretik keputusan menyatakan bahwa setiap aturan yang dapat diterima ((yaitu atau setiap aturan lain yang dibandingkan, ada nilai parameter yang risiko aturan saat ini (secara ketat) kurang dari risiko aturan yang menjadi aturannya. dibandingkan)) adalah aturan (umum) Bayes.

Estimator James-Stein adalah kelas lain dari estimator (yang dapat diturunkan dengan metode Bayes tanpa gejala) yang lebih baik daripada OLS dalam banyak kasus.

OLS dapat diterima dalam banyak situasi dan Pengukur James-Stein adalah contohnya. (Juga disebut paradoks Stein).

Ada kertas ulasan bagus oleh Kay dan Eldar tentang estimasi bias untuk tujuan menemukan estimator dengan kesalahan kuadrat rata-rata minimum.