Meningkatkan penduga minimum

Misalkan saya memiliki parameter positif untuk mengestimasi dan estimasi yang sesuai yang dihasilkan oleh estimator , yaitu , dan seterusnya. $n$ $\mu_1,\mu_2,...,\mu_n$ $n$ $\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$ $\mathrm E[\hat{\mu_1}]=\mu_1$ $\mathrm E[\hat{\mu_2}]=\mu_2$

Saya ingin memperkirakan menggunakan perkiraan yang ada. Jelas penaksir naif bias lebih rendah sebagai $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})] \leq m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$

Misalkan saya juga memiliki matriks kovarians dari penaksir yang sesuai . Apakah mungkin untuk mendapatkan estimasi minimum yang tidak bias (atau kurang bias) menggunakan estimasi yang diberikan dan matriks kovarians? $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

unbiased-estimator estimators minimum

— Cagdas Ozgenc
sumber

Apakah Anda bersedia menggunakan pendekatan Bayesian MCMC atau Anda memerlukan formula form tertutup?

— Martin Modrák

Tetapi pendekatan pengambilan sampel yang sederhana tidak masalah? (juga, Anda tidak benar-benar membutuhkan prior untuk analisis Bayesian, tapi itu cerita lain)

— Martin Modrák

@ MartinModrák Saya tidak berpengalaman dengan pendekatan pengambilan sampel. Jika saya melakukan bayesian saya biasanya melakukan hal konjugasi sederhana. Tetapi jika Anda berpikir ini adalah cara untuk pergi, saya akan terus maju dan belajar.

— Cagdas Ozgenc

Apa lagi yang Anda ketahui tentang perkiraan ini? Apakah Anda tahu ungkapannya? Apakah Anda tahu distribusi data yang digunakan untuk memperkirakan parameter ini?

— wij

@ Wij Saya dapat mencoba memperkirakan beberapa momen lain dari penaksir jika diperlukan. Saya tidak memiliki ekspresi analitik untuk distribusi estimator. Solusi tidak boleh (sebagai persyaratan tambang) bergantung pada distribusi data itu sendiri.

— Cagdas Ozgenc

Jawaban:

Saya tidak memiliki jawaban yang jelas tentang keberadaan estimator yang tidak bias. Namun, dalam hal kesalahan estimasi, memperkirakan adalah masalah yang secara intrinsik sulit secara umum. $\min(\mu_1, \dots, \mu_n)$

Misalnya, izinkan , dan . Biarkan menjadi kuantitas target dan adalah perkiraan . Jika kita menggunakan estimator "naif" mana , kemudian, kesalahan estimasi dibatasi oleh hingga konstan. (Perhatikan bahwa kesalahan estimasi untuk setiap adalah ). Tentu saja, jika $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$ $\mu = (\mu_1, \dots, \mu_n)$ $\theta = \min_i \mu_i$ $\hat{\theta}$ $\theta$ $\hat{\theta} = \min_i(\bar{Y}_i)$ $\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$ $L_2$

E [\hat{θ} - θ]^{2} ⪅ \frac{σ^{2} \log n}{N}

$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$

μ_{i}

$\mu_i$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

μ_{i}

$\mu_i$ Jauh dari satu sama lain dan sangat kecil, kesalahan estimasi harus dikurangi menjadi . Namun, dalam kasus terburuk, tidak ada perkiraan bekerja lebih baik daripada estimator naif. Anda dapat menunjukkan dengan tepat bahwa mana infimum mengambil alih semua kemungkinan yang mungkin dari berdasarkan sampel dan supremum mengambil alih semua konfigurasi yang mungkin dari .

σ

$\sigma$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

θ

$\theta$

inf_{\hat{θ}} sup_{μ_{1}, \dots, μ_{n}} E [\hat{θ} - θ]^{2} ⪆ \frac{σ^{2} \log n}{N}

$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$

θ

$\theta$

Y_{1}, \dots, Y_{N}

$Y_1,\dots, Y_N$

μ_{i}

$\mu_i$

Oleh karena itu estimator naif adalah minimax optimal hingga konstan, dan tidak ada estimasi yang lebih baik dari dalam hal ini. $\theta$

— JaeHyeok Shin
sumber

Informasi tambahan yang diberikan sama sekali tidak membantu? Statistik tambahan apa yang bisa membantu?

— Cagdas Ozgenc

Maaf karena membuat titik yang membingungkan. Saya tidak bermaksud bahwa informasi tambahan (kovarians) tidak membantu. Saya hanya ingin menunjukkan perkiraan minimum beberapa populasi berarti sulit di alam. Informasi kovarian seharusnya membantu. Sebagai contoh, dalam kasus Normal, jika kita memiliki korelasi sempurna untuk semua pasangan yang memungkinkan, itu berarti pengamatan acak berasal dari rerata berbeda + istilah kebisingan umum. Dalam hal ini, penaksir naif (minimum rata-rata sampel) tidak bias.

— JaeHyeok Shin

EDIT: Berikut ini menjawab pertanyaan yang berbeda dari apa yang diminta - itu dibingkai seolah-olah dianggap acak, tetapi tidak berfungsi ketika dianggap tetap, yang mungkin apa OP ada dalam pikiran. Jika diperbaiki, saya tidak memiliki jawaban yang lebih baik daripada $\mu$ $\mu$ $\mu$ $\min(\hat\mu_1,...,\hat\mu_n)$

Jika kami hanya mempertimbangkan taksiran untuk mean dan kovarian, kami dapat memperlakukan sebagai sampel tunggal dari distribusi normal multivarian. Cara sederhana untuk mendapatkan estimasi minimum adalah dengan mengambil sejumlah besar sampel dari , menghitung minimum setiap sampel dan kemudian mengambil rata-rata dari minimum tersebut. $(\mu_1, ..., \mu_n)$ $MVN(\hat{\mu}, \Sigma)$

Prosedur di atas dan batasannya dapat dipahami dalam istilah Bayesian - mengambil notasi dari Wikipedia di MVN , jika adalah kovarians yang diketahui dari estimator dan kami memiliki satu pengamatan, distribusi posterior bersama adalah mana dan muncul dari tempat sebelumnya, sebelum mengamati data yang kita ambil sebelumnya ). Karena Anda mungkin tidak mau menempatkan prior pada , kita dapat mengambil batas sebagai , menghasilkan flat sebelumnya dan posterior menjadi $\Sigma$ $\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$ $\lambda_0$ $m$ $\mu \sim MVN(\lambda_0, m^{-1} \Sigma$ $\mu$ $m \rightarrow 0$ $\mu \sim MVN(\hat{\mu}, \Sigma)$ . Namun, mengingat flat sebelumnya kita secara implisit membuat asumsi bahwa elemen berbeda (jika semua bilangan real sama-sama mungkin, mendapatkan nilai yang sama sangat tidak mungkin). $\mu$

Sebuah cepat simulasi menunjukkan bahwa estimasi dengan prosedur ini sedikit perkiraan yang terlalu tinggi ketika unsur-unsur dari berbeda banyak dan meremehkan ketika unsur-unsur yang serupa. Seseorang dapat berargumen bahwa tanpa pengetahuan sebelumnya ini adalah perilaku yang benar. Jika Anda bersedia menyatakan setidaknya beberapa informasi sebelumnya (mis. ), hasilnya bisa menjadi sedikit lebih baik untuk kasus penggunaan Anda. $min(\mu)$ $\mu$ $min(\mu)$ $m = 0.1$

Jika Anda bersedia untuk mengambil lebih banyak struktur, Anda mungkin dapat memilih distribusi yang lebih baik daripada multivariete normal. Juga mungkin masuk akal untuk menggunakan Stan atau sampler MCMC lainnya agar sesuai dengan estimasi . Ini akan memberi Anda satu set sampel yang mencerminkan ketidakpastian dalam estimator itu sendiri, termasuk struktur kovariansnya (mungkin lebih kaya daripada yang dapat disediakan MVN). Sekali lagi Anda dapat menghitung minimum untuk setiap sampel untuk mendapatkan distribusi posterior lebih dari minimum, dan mengambil rata-rata distribusi ini jika Anda memerlukan estimasi titik. $\mu$ $(\mu_1, ..., \mu_n)$

— Martin Modrák
sumber

Perhatikan bahwa saya tidak mencoba memperkirakan minimum variabel acak N. Saya mencoba memperkirakan minimum parameter N. Tampaknya saran Anda adalah perkiraan untuk sedangkan saya memerlukan perkiraan untuk

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})]

$E[min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]$

m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$min(\mu_1,\mu_2,...,\mu_n)$

— Cagdas Ozgenc

Saya mencoba mengedit jawaban untuk menjelaskan alasannya, semoga bisa membantu.

— Martin Modrák

Jadi, apakah metode pengambilan sampel ini menghasilkan hasil yang lebih baik dibandingkan dengan sederhana , yang juga berfungsi dengan baik ketika jauh terpisah dan meremehkan saat mereka dekat. Agar bermanfaat, itu harus bekerja ketika mereka dekat.

m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})

$min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

μ_{i}

$\mu_i$

— Cagdas Ozgenc

Perhatikan juga bahwa semua adalah angka positif, jadi Anda tidak benar-benar membutuhkan bagian negatif dari garis nyata.

μ_{i}

$\mu_i$

— Cagdas Ozgenc

Anda benar bahwa saya mengabaikan tanda-tanda dan saya tidak melihat cara sederhana untuk mengakomodasi mereka. Estimator yang saya usulkan juga berkinerja lebih baik ketika dianggap acak, tetapi lebih buruk daripada untuk fix . Saya tidak berpikir saya bisa menyelamatkan ini dan saya tidak yakin apa jalan terbaik ke depan - saya cenderung mencoba untuk menghapus jawabannya karena tidak benar-benar menjawab pertanyaan, tetapi (saya harap) jawabannya juga mengandung beberapa ide yang mungkin bermanfaat bagi seseorang.

μ

$\mu$

m i n (\hat{μ})

$min(\hat{\mu})$

μ

$\mu$

— Martin Modrák