Penaksir Kemungkinan Maksimum - interval kepercayaan

Bagaimana saya bisa membangun interval kepercayaan asimptotik untuk parameter nyata, mulai dari MLE untuk parameter itu?

— Fabrizio
sumber

Salah satu cara untuk mendekati masalah ini adalah dengan menggunakan metode delta: en.wikipedia.org/wiki/Delta_method

Saya melihat ada orang untuk menutup pertanyaan ini sebagai terlalu luas, tapi ada adalah teorema umum tentang perilaku asimtotik dari MLEs yang ringkas dapat dinyatakan. Saya memberi jawaban singkat bahwa saya akan mengembangkan sedikit kemudian.

— Scortchi

Gunakan fakta bahwa untuk sampel iid berukuran , mengingat beberapa kondisi keteraturan, MLE adalah penaksir yang konsisten dari parameter sebenarnya , & distribusinya asimptotik Normal, dengan varians yang ditentukan oleh kebalikan dari Informasi Fisher: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ mana adalah informasi Fisher dari satu sampel. Informasi yang diamati di MLE cenderung ke informasi yang diharapkan tanpa gejala, sehingga Anda dapat menghitung (katakanlah 95%) interval kepercayaan dengan

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

Misalnya, jika adalah varian Poisson nol terpotong, Anda bisa mendapatkan formula untuk informasi yang diamati dalam hal MLE (yang harus Anda hitung secara numerik): $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

Kasus-kasus penting yang dikecualikan oleh kondisi keteraturan termasuk yang mana

parameter menentukan dukungan data, misalnya pengambilan sampel dari distribusi yang seragam antara nol dan $\theta$ $\theta$
jumlah parameter gangguan meningkat dengan ukuran sampel

— Scortchi - Reinstate Monica
sumber

Apakah metode ini berlaku tanpa modifikasi ketika ada kendala pada , misalnya ? Bagaimana dengan MLE untuk parameter , sedemikian rupa sehingga dan ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

Jika , yaitu nilai sebenarnya tidak sama dengan salah satu batas.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi

Jika dan, bukankah itu berarti perkiraan normal tidak berlaku dan saya perlu lebih banyak sampel?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

Ya, itu hanya interval kepercayaan asimptotik.

— Scortchi

@quant_dev: Tidak: Anda akan mencari transformasi dari parameter yang membuat perkiraan Normal layak - atau menggunakan metode lain.

— Scortchi