Apakah sampel berarti estimasi "terbaik" dari distribusi dalam arti tertentu?

Dengan hukum (lemah / kuat) dalam jumlah besar, diberikan beberapa titik sampel iid distribusi, rata-rata sampel mereka menyatu dengan mean distribusi baik dalam probabilitas maupun sebagai, sebagai ukuran sampel pergi hingga tak terbatas. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Ketika ukuran sampel diperbaiki, saya ingin tahu apakah estimator LLN adalah estimator terbaik dalam beberapa hal? Sebagai contoh, $N$ $f^*$

harapannya adalah rata-rata distribusi, sehingga merupakan penduga yang tidak bias. Variansnya adalah mana adalah varian distribusi. Tapi apakah itu UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
apakah ada beberapa fungsi sehingga menyelesaikan masalah minimisasi: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Dengan kata lain, adalah wrt terbaik beberapa fungsi kontras dalam kerangka kerja kontras minimum (lihat Bagian 2.1 "Heuristik Dasar Estimasi" dalam " Statistik Matematika: ide dasar dan topik yang dipilih, Volume 1 " oleh Bickle dan Doksum). $f^*$ $l_0$

Misalnya, jika distribusi diketahui / dibatasi berasal dari keluarga distribusi Gaussian, maka rata-rata sampel akan menjadi penaksir MLE dari rata-rata distribusi, dan MLE termasuk dalam kerangka kerja kontras minimum, dan fungsi kontrasnya dikurangi dengan kemungkinan log fungsi. $l_0$
apakah ada beberapa fungsi sehingga menyelesaikan masalah minimisasi: untuk distribusi dari dalam beberapa keluarga distribusi? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Dengan kata lain, adalah yang terbaik untuk beberapa fungsi yang hilang dan beberapa keluarga dari distribusi dalam kerangka teori keputusan (lih. Bagian 1.3 "Kerangka Teori Keputusan" dalam " Statistik Matematika: ide dasar dan topik yang dipilih, Volume 1 " oleh Bickle dan Doksum). $f^*$ $l$ $F$

Perhatikan bahwa di atas ada tiga interpretasi yang berbeda untuk estimasi "terbaik" yang saya ketahui sejauh ini. Jika Anda tahu tentang interpretasi lain yang mungkin berlaku untuk estimator LLN, jangan ragu untuk menyebutkannya juga.

estimation expected-value law-of-large-numbers

— Tim
sumber

Cara lain untuk menggambarkan penaksir: Baca tentang Penaksir Konsisten di sini . Sampel Mean konsisten karena LLN.

— Rohit Banga

Sampel rata-rata memiliki banyak sifat bagus dan menarik tetapi kadang-kadang itu bukan yang terbaik yang dapat dimiliki seseorang dalam situasi tertentu. Salah satu contoh adalah kasus di mana dukungan distribusi tergantung pada nilai parameter. Pertimbangkan

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$ , lalu

adalah penaksir yang tidak bias dari rerata distribusi

tetapi bukan UMVUE, misalnya, estimasi tidak bias berdasarkan pada statistik urutan terbesar

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

akan memiliki varians yang lebih kecil dari mean sampel.

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Terima kasih! Tetapi bagaimana variansnya dihitung?

— Tim

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Penaksir kontras minimum, dalam kondisi teknis tertentu, konsisten dan normal asimptotik. Untuk mean sampel, ini sudah mengikuti dari LLN dan teorema batas pusat. Saya tidak tahu bahwa penaksir kontras minimum "optimal" dengan cara apa pun. Apa yang baik tentang penduga kontras minimum adalah bahwa banyak penduga kuat (misalnya median, penduga Huber, sampel kuantil) termasuk dalam keluarga ini, dan kita dapat menyimpulkan bahwa mereka konsisten dan asimtotik normal hanya dengan menerapkan teorema umum untuk penduga kontras minimum, jadi selama kami memeriksa beberapa kondisi teknis (meskipun seringkali ini jauh lebih sulit daripada kedengarannya).

Salah satu gagasan optimalitas yang tidak Anda sebutkan dalam pertanyaan Anda adalah efisiensi yang, secara kasar, adalah tentang seberapa besar sampel yang Anda butuhkan untuk mendapatkan perkiraan kualitas tertentu. Lihat http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency untuk perbandingan efisiensi rata-rata dan median (rata-rata lebih efisien, tetapi median lebih kuat untuk outlier).

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
sumber

Terima kasih! Apakah ada beberapa referensi yang baik tentang sifat-sifat estimator kontras minimum, seperti konsisten dan normal asimptotik, serta contoh-contoh seperti median, estimator Huber, sampel kuantil?

— Tim

Bagian 5.2.2 dari buku Bickel & Doksum yang Anda kutip memiliki teorema tentang konsistensi penduga kontras minimum. Bagian 5.4.2 membahas normalitas asimptotik. Sumber lain yang saya rekomendasikan, dan yang membahas penduga lain yang saya sebutkan, adalah buku Statistik Asymptotic van der Vaart . Bab 5 ada di M-estimators, yang merupakan namanya untuk estimator kontras minimum.

— DavidR

Terima kasih! Apakah norma dalam paragraf pertama Anda adalah arbitrary pada atau norma ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

Maksud saya norma Euclidean standar - Saya telah mengubahnya menjadi notasi vektor untuk memperjelas.

— DavidR

DavidR, terima kasih! (1) Mengenai bagian 3 dalam posting saya, saya ingin tahu apakah mean sampel, yaitu estimator LLN, dapat dimasukkan ke dalam kerangka kerja teoretik keputusan untuk beberapa fungsi kerugian ? (2) Saya memiliki kesan bahwa semua penaksir, seperti MLE dan Least Square Estimator, masuk ke dalam kerangka kontras minimum, tetapi bukan kerangka kerja teoretik keputusan. Jadi, apakah kerangka kerja teoritik keputusan tidak digunakan untuk membangun estimator, tetapi hanya untuk mengevaluasinya?

l

$l$

— Tim