Pertanyaan dasar tentang Matriks Informasi Fisher dan hubungannya dengan Hessian dan kesalahan standar

54

Ok, ini pertanyaan yang cukup mendasar, tapi saya agak bingung. Dalam tesis saya, saya menulis:

Kesalahan standar dapat ditemukan dengan menghitung kebalikan dari akar kuadrat dari elemen diagonal dari (Informasi) matriks Informasi Fisher:

Sejak perintah optimasi di meminimalkan Ryang (diamati) Informasi Fisher matriks dapat ditemukan dengan menghitung kebalikan dari Hessian:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{saya (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$

- \log L

$-\log\mathcal{L}$

\begin{aligned} saya (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Pertanyaan utama saya: Apakah ini benar yang saya katakan ?

Saya sedikit bingung, karena dalam sumber ini pada halaman 7 dikatakan:

Matriks informasi adalah negatif dari nilai yang diharapkan dari matriks Hessian

(Jadi tidak ada kebalikan dari Goni.)

Sedangkan dalam sumber ini di halaman 7 (catatan kaki 5) dikatakan:

Informasi Fisher yang diamati sama dengan . $(-H)^{-1}$

(Jadi di sini adalah kebalikannya.)

Saya mengetahui tanda minus dan kapan harus menggunakannya dan kapan tidak, tapi mengapa ada perbedaan dalam mengambil invers atau tidak?

maximum-likelihood fisher-information

— Jen Bohold
sumber

@COOLSerdash Terima kasih atas koreksi dan +1 Anda, tetapi sumber ini: unc.edu/ ~monogan / computing / r / MLE_in_R.pdf halaman 7 dengan jelas mengatakan bahwa informasi Fisher yang diamati sama dengan INVESTE Hessian?

— Jen Bohold

@COOLSerdash Ok, Anda mungkin ingin memposting ini sebagai jawaban.

— Jen Bohold

75

Yudi Pawitan menulis dalam bukunya In All Likelihood bahwa turunan kedua dari log-likelihood yang dievaluasi pada perkiraan kemungkinan maksimum (MLE) adalah informasi Fisher yang diamati (lihat juga dokumen ini , halaman 2). Ini adalah apa yang paling optimasi algoritma seperti optimdi Rkembali: Hessian dievaluasi pada MLE. Ketika negatiflog-kemungkinan diminimalkan, Goni negatif dikembalikan. Seperti yang Anda tunjukkan dengan benar, estimasi kesalahan standar MLE adalah akar kuadrat dari elemen diagonal dari kebalikan dari matriks informasi Fisher yang diamati. Dengan kata lain: Akar kuadrat dari elemen diagonal dari kebalikan dari Hessian (atau Hessian negatif) adalah perkiraan kesalahan standar.

Ringkasan

Hessian negatif yang dievaluasi di MLE sama dengan matriks informasi Fisher yang diamati yang dievaluasi di MLE.
Mengenai pertanyaan utama Anda: Tidak, itu tidak benar bahwa informasi Fisher yang diamati dapat ditemukan dengan membalik Hessian (negatif).
Mengenai pertanyaan kedua Anda: Kebalikan dari Hessian (negatif) adalah penduga dari matriks kovarians asimptotik. Oleh karena itu, akar kuadrat dari elemen diagonal dari matriks kovarian adalah penduga kesalahan standar.
Saya pikir dokumen kedua yang Anda tautkan salah.

Secara formal

$l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

saya (θ) = - \frac{\partial^{2}}{\partial θ_{saya} \partial θ_{j}} l (θ), 1 \leq saya, j \leq hal

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{saya} \partial θ_{j}} l (θ), 1 \leq saya, j \leq hal

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

V Sebuah r ({\hat{θ}}_{M. L.}) = [saya ({\hat{θ}}_{M. L.})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M. L.} \overset{Sebuah}{\sim} N (θ_{0}, [saya ({\hat{θ}}_{M. L.})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M. L.}) = \frac{1}{\sqrt{saya ({\hat{θ}}_{M. L.})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
sumber

1

harus mengatakan "ketika kemungkinan log negatif diminimalkan " (atau dioptimalkan ).

— cmo

8

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Reinstate Monica

6

Memperkirakan fungsi kemungkinan mensyaratkan proses dua langkah.

Pertama, kita mendeklarasikan fungsi log-likelihood. kemudian satu mengoptimalkan fungsi log-likelihood. Tidak apa-apa.

$-1*l$ $l$

$(-H)^-1$

— Adelino Martins
sumber