Hubungan antara Matriks Hessian dan Matriks Kovarian

Sementara saya mempelajari Estimasi Kemungkinan Maksimum, untuk melakukan inferensi pada Estimasi Kemungkinan Maksimum, kita perlu mengetahui variansnya. Untuk mengetahui perbedaannya, saya perlu mengetahui Cramer's Rao Lower Bound, yang terlihat seperti Hessian Matrix dengan Second Deriviation pada kelengkungan. Saya agak bingung untuk mendefinisikan hubungan antara matriks kovarians dan matriks hessian. Berharap untuk mendengar beberapa penjelasan tentang pertanyaan itu. Contoh sederhana akan dihargai.

— pengguna122358
sumber

Pertama-tama Anda harus memeriksa pertanyaan Dasar ini tentang matriks Informasi Fisher dan hubungannya dengan kesalahan standar dan Hessian

$\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

{saya}_{saya, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{saya} \partial θ_{j}}] = - E_{θ} [H_{saya, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

$I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), untuk beberapa θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

$\theta$

$\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

$T(X)$ $cov_{\theta}(T(X))$

c Hai v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {saya}^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

$A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c Hai v_{θ} (T (X)) \geq {saya}^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Tapi apa sebenarnya yang dikatakannya kepada kita? Misalnya, ingat itu

v Sebuah r_{θ} (T_{saya} (X)) = [c Hai v_{θ} (T (X))]_{saya, saya}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{saya} {SEBUAH}_{saya, saya} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{saya} v Sebuah r_{θ} (T_{saya} (X)) \geq [B (θ)]_{saya, saya}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Jadi CRLB tidak memberi tahu kami varians penaksir kami, tetapi apakah penaksir kami optimal atau tidak , yaitu jika memiliki kovarians terendah di antara semua penaksir yang tidak bias.

— Łukasz Grad
sumber

Saya menghargai penjelasan Anda di sini. Saya bukan benar-benar orang matematika tetapi saya berada dalam cara belajar matematika dengan serius. Namun, itu masih terlihat terlalu abstrak bagi saya. Saya harap ada beberapa contoh lembut dengan angka sederhana, yang pasti akan memahaminya.

— user122358