Apakah mungkin untuk memiliki penduga yang tidak bias dan terikat?

Saya punya parameter $\theta$ yang terletak di antara $[0,1]$ . Katakanlah saya dapat menjalankan percobaan dan memperolehnya $\hat{\theta} = \theta + w$ dimana $w$ adalah Gaussian standar. Yang saya butuhkan adalah perkiraan $\theta$ yang 1) tidak bias 2) hampir pasti dibatasi. Persyaratan (2) sangat penting bagi saya.

Pemikiran alami yang harus dilakukan adalah membangun pengaturan estimator baru $\hat{\theta}$ untuk $1$ jika di atas $1$ dan untuk $0$ jika di bawah $0$ . Namun, estimator tidak akan objektif. Jadi apa yang harus aku lakukan?

Secara formal, pertanyaannya adalah apakah ada fungsi $f: \mathbb{R} \rightarrow \mathbb{R}$ seperti yang $f(\hat \theta)$ memenuhi (1) dan (2) di atas. Selain itu, apakah situasinya akan berbeda jika saya mengambil lebih dari satu sampel?

— Yves
sumber

Bisakah Anda mengatakan lebih banyak tentang situasi Anda? Saya bukan ahli statistik matematika, tetapi ini tampaknya sangat abstrak bagi saya. Itu mengingatkan saya pada regresi logistik, di mana parameter

π

$\pi$ harus berbaring

(0, 1)

$(0,1)$ , dan

E [\hat{π}] = π

$E[\hat\pi]=\pi$ , tetapi distribusi sampling dari

\hat{π}

$\hat\pi$ bukan Gaussian. (Tentu saja,

logit (\hat{π})

$\text{logit}(\hat\pi)$ adalah, tapi kemudian itu tidak dibatasi oleh

(0, 1)

$(0,1)$ .) Apakah ada yang terkait dengan situasi Anda? FWIW, saya kira Anda tidak akan dapat menemukan fungsi seperti yang Anda inginkan (yaitu, yang dibatasi), b / c

R

$\mathbb R$ tidak dibatasi. (M / maaf, saya bisa menghapus komentar ini jika diperlukan.)

— gung - Reinstate Monica

Saya setuju bahwa kemungkinan besar tidak ada fungsi seperti itu

f

$f$ ada, bahkan jika kami memperluas kondisi untuk mengumpulkan beberapa sampel. Namun, jika itu masalahnya, saya masih tertarik untuk melihat bukti bahwa tidak ada fungsi semacam itu.

— Yves

Ekspresi

\hat{θ} = θ + w

$\hat{\theta} = \theta + w$ adalah ekspresi teoretis yang biasanya digunakan seseorang ketika mencoba menentukan properti estimator, yang tidak bias dalam kasus ini. Tapi ini bukan bentuk fungsional penaksir yang sebenarnya, karena ini berisi parameter yang tidak diketahui

θ

$\theta$ . Untuk mengeksplorasi pertanyaan Anda secara bermakna, kami memerlukan ungkapan

\hat{θ}

$\hat \theta$ sebagai fungsi dari data. Ini tidak dapat dijawab secara umum.

— Alecos Papadopoulos

Saya punya pertanyaan yang sama! Lebih tepatnya, pertanyaannya adalah apakah ada

- \infty < a < b < \infty

$-\infty< a < b < \infty$ dan fungsi yang terukur

f : R \to [a, b]

$f : \mathbb{R} \to [a,b]$ seperti yang

\forall μ \in [0, 1] \underset{X \leftarrow N (μ, 1)}{E} [f (X)] = μ .

$\forall \mu \in [0,1] ~~~~~ \underset{X \leftarrow \mathcal{N}(\mu,1)}{\mathbb{E}}[ f(X) ] = \mu.$ Saya percaya jawabannya tidak, tetapi saya mencari bukti yang tidak seperti itu

f

$f$ ada

— Thomas

Saya akan menyajikan kondisi di mana penaksir tidak bias tetap tidak bias, bahkan setelah dibatasi. Tetapi saya tidak yakin apakah itu sesuatu yang menarik atau bermanfaat.

Biarkan estimator $\hat \theta$ dari parameter yang tidak diketahui $\theta$ dari distribusi yang berkelanjutan, dan $E(\hat \theta) =\theta$ .

Asumsikan bahwa untuk beberapa alasan, di bawah pengambilan sampel berulang kami ingin estimator untuk menghasilkan estimasi yang berkisar di $[\delta_l,\delta_u]$ . Kami berasumsi itu $\theta \in [\delta_l,\delta_u]$ dan jadi kita bisa menulis kapan intervalnya nyaman $[\theta-a,\theta+b]$ dengan $\{a,b\}$ angka positif tetapi tentu saja tidak diketahui.

Maka estimator yang dibatasi adalah

{\hat{θ}}_{c} = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$\hat \theta_c = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$

dan nilai yang diharapkan adalah

\begin{aligned} E ({\hat{θ}}_{c}) & = δ_{l} \cdot P [\hat{θ} \leq δ_{l}] \\ + E (\hat{θ} ∣ δ_{l} \leq \hat{θ} \leq δ_{u}) \cdot P [δ_{l} \leq \hat{θ} \leq δ_{u}] \\ + δ_{u} \cdot P [\hat{θ} > δ_{u}] \end{aligned}

$\begin{align} E(\hat \theta_c) &= \delta_l\cdot P[\hat \theta \leq \delta_l] \\&+ E(\hat \theta \mid \delta_l \leq\hat \theta \leq\delta_u )\cdot P[\delta_l \leq\hat \theta \leq \delta_u] \\ &+\delta_u\cdot P[\hat \theta > \delta_u]\end{align}$

Tentukan sekarang fungsi indikator

I_{l} = I (\hat{θ} \leq δ_{l}), I_{m} = I (δ_{l} \leq \hat{θ} \leq δ_{l}), I_{u} = I (\hat{θ} > δ_{u})

$I_l = I(\hat \theta \leq \delta_l),\;\; I_m = I(\delta_l\leq \hat \theta \leq \delta_l),\;\; I_u = I(\hat \theta > \delta_u)$

dan perhatikan itu

\begin{matrix} (1) & I_{l} + I_{u} = 1 - I_{m} \end{matrix}

$I_l + I_u = 1- I_m \tag{1}$

menggunakan fungsi indikator ini, dan integral, kita dapat menulis nilai yang diharapkan dari estimator terbatas sebagai ( $f(\hat \theta)$ adalah fungsi kepadatan $\hat \theta$ ),

E ({\hat{θ}}_{c}) = \int_{- \infty}^{\infty} δ_{l} f (\hat{θ}) I_{l} d \hat{θ} + \int_{- \infty}^{\infty} \hat{θ} f (\hat{θ}) I_{m} d \hat{θ} + \int_{- \infty}^{\infty} δ_{u} f (\hat{θ}) I_{u} d \hat{θ}

$E(\hat \theta_c) = \int_{-\infty}^{\infty}\delta_lf(\hat \theta)I_ld\hat \theta + \int_{-\infty}^{\infty}\hat \theta f(\hat \theta)I_md\hat \theta + \int_{-\infty}^{\infty} \delta_uf(\hat \theta)I_ud\hat \theta$

= \int_{- \infty}^{\infty} f (\hat{θ}) [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] d \hat{θ}

$=\int_{-\infty}^{\infty}f(\hat \theta)\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big]d\hat \theta$

\begin{matrix} (2) & = E [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] \end{matrix}

$=E\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big] \tag{2}$

Mengurai batas atas dan bawah, kita miliki

E ({\hat{θ}}_{c}) = E [(θ - a) I_{l} + \hat{θ} I_{m} + (θ + b) I_{u}]

$E(\hat \theta_c) = E\Big[(\theta-a)I_l + \hat \theta I_m + (\theta+b)I_u\Big]$

= E [θ \cdot (I_{l} + I_{u}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$=E\Big[\theta\cdot(I_l+I_u) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

dan menggunakan $(1)$ ,

= E [θ \cdot (1 - I_{m}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$= E\Big[\theta\cdot(1-I_m) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

\begin{matrix} (3) & \Rightarrow E ({\hat{θ}}_{c}) = θ + E [(\hat{θ} - θ) I_{m}] - a E (I_{l}) + b E (I_{u}) \end{matrix}

$\Rightarrow E(\hat \theta_c) = \theta +E\big[(\hat \theta -\theta)I_m\big]-aE(I_l)+bE(I_u) \tag {3}$

Sekarang, sejak itu $E(\hat \theta) = \theta$ kita punya

E [(\hat{θ} - θ) I_{m}] = E (\hat{θ} I_{m}) - E (\hat{θ}) E (I_{m})

$E\big[(\hat \theta -\theta)I_m\big] = E\big(\hat \theta I_m\big) - E(\hat \theta)E(I_m)$

Tapi

E (\hat{θ} I_{m}) = E (\hat{θ} I_{m} ∣ I_{m} = 1) E (I_{m}) = E (\hat{θ}) E (I_{m})

$E\big(\hat \theta I_m\big) = E\big(\hat \theta I_m\mid I_m=1\big)E(I_m) = E\big(\hat \theta \big)E(I_m)$

Karenanya, $E\big[(\hat \theta -\theta)I_m\big] =0$ dan sebagainya

\begin{matrix} (4) & \begin{aligned} E ({\hat{θ}}_{c}) & = θ - Sebuah E ({saya}_{l}) + b E ({saya}_{kamu}) \\ = θ - Sebuah P (\hat{θ} \leq δ_{l}) + b P (\hat{θ} > δ_{kamu}) \end{aligned} \end{matrix}

$\begin{align} E(\hat \theta_c) &= \theta -aE(I_l)+bE(I_u) \\ &= \theta -aP(\hat \theta \leq \delta_l)+bP(\hat \theta > \delta_u)\end{align}\tag {4}$

atau sebagai alternatif

\begin{matrix} (4a) & E ({\hat{θ}}_{c}) = θ - (θ - δ_{l}) P (\hat{θ} \leq δ_{l}) + (δ_{kamu} - θ) P (\hat{θ} > δ_{kamu}) \end{matrix}

$E(\hat \theta_c) = \theta -(\theta-\delta_l)P(\hat \theta \leq \delta_l)+(\delta_u-\theta)P(\hat \theta > \delta_u)\tag {4a}$

Karena itu dari $(4)$ , kita melihat bahwa untuk estimator yang dibatasi juga tidak bias, kita harus memilikinya

\begin{matrix} (5) & Sebuah P (\hat{θ} \leq δ_{l}) = b P (\hat{θ} > δ_{kamu}) \end{matrix}

$aP(\hat \theta \leq \delta_l) = bP(\hat \theta > \delta_u) \tag {5}$

Apa masalahnya dengan kondisi $(5)$ ? Ini melibatkan angka yang tidak diketahui $\{a,b\}$ , jadi dalam praktiknya kita tidak akan dapat benar-benar menentukan interval untuk mengikat estimator dan menjaganya tetap tidak bias.

Tetapi katakanlah ini adalah beberapa eksperimen simulasi terkontrol, di mana kami ingin menyelidiki properti penaksir lainnya, mengingat ketidakberpihakan. Lalu kita bisa "menetralisir" $a$ dan $b$ dengan pengaturan $a=b$ , yang pada dasarnya menciptakan interval simetris di sekitar nilai $\theta$ ... Dalam hal ini, untuk mencapai ketidakberpihakan, kita harus memiliki lebih dari itu $P(\hat \theta \leq \delta_l) = P(\hat \theta > \delta_u)$ , yaitu kita harus memiliki bahwa massa probabilitas estimator yang tidak dibatasi sama dengan kiri dan ke kanan (simetris di sekitar $\theta$ ) interval ...

... dan kita belajar bahwa (sebagai kondisi yang memadai), jika distribusi estimator yang tidak dibatasi simetris di sekitar nilai sebenarnya, maka estimator yang dibatasi dalam interval simetris di sekitar nilai sebenarnya juga tidak bias ... tetapi ini adalah hampir sepele terbukti atau intuitif, bukan?

Ini menjadi sedikit lebih menarik, jika kita menyadari bahwa kondisi yang diperlukan dan cukup (diberi interval simetris) a) tidak memerlukan distribusi simetris , hanya massa probabilitas yang sama "di ekor" (dan ini pada gilirannya tidak menyiratkan bahwa distribusi massa di setiap ekor harus identik) dan b) memungkinkan bahwa di dalam interval, kerapatan penduga dapat memiliki bentuk non-simetris yang konsisten dengan menjaga ketidakberpihakan-itu masih akan membuat penduga dibatasi tidak bias.

APLIKASI: Kasus OP
Estimator kami adalah $\hat \theta = \theta + w,\;\; w \sim N(0,1)$ dan sebagainya $\hat \theta \sim N(\theta,1)$ . Lalu, gunakan $(4)$ saat menulis $a,b$ dengan kondisi $\theta, \delta$ , kita miliki, untuk interval pembatas $[0,1]$ ,

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} \leq 0) + (1 - θ) P (\hat{θ} > 1)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta \leq 0) +(1-\theta)P(\hat \theta > 1)$

Distribusinya simetris $\theta$ . Transformasi ( $\Phi()$ adalah CDF normal standar)

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} - θ \leq - θ) + (1 - θ) P (\hat{θ} - θ > 1 - θ)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta-\theta \leq -\theta) +(1-\theta)P(\hat \theta -\theta > 1-\theta)$

= θ - θ Φ (- θ) + (1 - θ) [1 - Φ (1 - θ)]

$=\theta -\theta \Phi(-\theta) +(1-\theta)[1-\Phi(1-\theta)]$

Seseorang dapat memverifikasi bahwa ketentuan tambahan membatalkan hanya jika $\theta =1/2$ , yaitu, hanya jika interval pembatas juga simetris $\theta$ .

— Alecos Papadopoulos
sumber

Saya tidak berpikir ini menjawab pertanyaan. Anda sedang menganalisis pemotongan. Pertanyaannya bukan "Apakah pemotongan bekerja?", Melainkan "Apakah ada alternatif untuk pemotongan yang bekerja?". OP tampaknya menyadari bahwa pemotongan tidak berfungsi.

— Thomas

@Thomas OP bertanya (kalimat terakhir dari pos OP) apakah kita dapat memiliki estimator terikat yang juga tidak bias. Saya pertama-tama menyajikan perlakuan umum tentang masalah ini dan kemudian aplikasi langsung di tempat OP. Saya tidak mengerti mengapa ini "tidak menjawab pertanyaan".

— Alecos Papadopoulos

Anda mengasumsikan bentuk fungsional spesifik untuk estimator, yaitu

f (\hat{θ}) = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{kamu} \\ δ_{kamu} & δ_{kamu} < \hat{θ} \end{matrix}}

$f(\hat \theta) = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$ untuk beberapa

δ_{l}, δ_{u} \in R

$\delta_l,\delta_u \in \mathbb{R}$ . Interpretasi saya adalah pertanyaan yang diajukan tentang penduga yang terikat

f

$f$ , bukan hanya penduga dengan bentuk fungsional ini. Sebagai contoh,

f (\hat{θ}) = \sin (\hat{θ})

$f(\hat \theta) = \sin(\hat \theta)$ akan menjadi estimator terbatas (bukan yang berguna sekalipun).

— Thomas

(Saya mengomentari pertanyaan yang berumur bertahun-tahun ini karena saya memiliki pertanyaan yang sama. Khususnya, pertanyaan yang saya minati adalah untuk penduga yang terikat secara sewenang-wenang.)

— Thomas

@ Thomas Benar bahwa penjelajahan saya tidak memperlakukan keterbatasan dalam sifatnya yang paling umum. Benar juga bahwa begitu Anda menyusun estimator dengan fungsi non-linier, secara umum itu harus bias sendiri, sebagai syarat yang diperlukan untuk transformasi menjadi tidak bias.

— Alecos Papadopoulos