Informasi apa yang dimaksud dengan informasi Fisher?

29

Misalkan kita memiliki variabel acak $X \sim f(x|\theta)$ . Jika $\theta_0$ adalah parameter sebenarnya, fungsi kemungkinan harus dimaksimalkan dan turunannya sama dengan nol. Ini adalah prinsip dasar di balik estimator kemungkinan maksimum.

Seperti yang saya pahami, informasi Fisher didefinisikan sebagai

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Jadi, jika $\theta_0$ adalah parameter sebenarnya, $I(\theta) = 0$ . Tetapi jika $\theta_0$ bukan parameter sebenarnya, maka kita akan memiliki jumlah informasi Fisher yang lebih besar.

pertanyaan saya

Apakah informasi Fisher mengukur "kesalahan" MLE yang diberikan? Dengan kata lain, bukankah keberadaan informasi Fisher positif menyiratkan MLE saya tidak ideal?
Bagaimana definisi "informasi" ini berbeda dari yang digunakan oleh Shannon? Mengapa kami menyebutnya informasi?

— Stan Shunpike
sumber

Mengapa Anda menulisnya

? Harapannya melebihi nilai

didistribusikan seolah-olah berasal dari distribusi Anda dengan parameter

.

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

— Neil G

3

Juga

bukan nol pada parameter sebenarnya.

I (θ)

$I(\theta)$

— Neil G

E (S) adalah nol (yaitu: ekspektasi fungsi skor), tetapi seperti yang ditulis Neil G - informasi fisher (V (S)) bukan (biasanya) nol.

— Tal Galili

15

Mencoba melengkapi jawaban lain ... Informasi apa yang dimaksud dengan informasi Fisher? Mulai dengan fungsi kemungkinan log sebagai fungsi untuk , ruang parameter. Dengan asumsi beberapa kondisi keteraturan yang tidak kita diskusikan di sini, kita memiliki

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

(kami akan menulis turunan sehubungan dengan parameter sebagai titik-titik seperti di sini). Variansnya adalah informasi Fisher

rumus terakhir yang menunjukkan bahwa itu adalah kelengkungan (negatif) dari fungsi kemungkinan loglikel. Orang sering menemukan penaksir kemungkinan maksimum (mle) dari

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$

dengan memecahkan persamaan kemungkinan

ketika informasi Fisher sebagai varian dari skor

besar, maka solusi untuk persamaan itu akan sangat sensitif terhadap data, memberikan harapan untuk tinggi presisi dari mle. Itu dikonfirmasi setidaknya secara asimptotik, varian asimptotik dari mle menjadi kebalikan dari informasi Fisher.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

$\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$

θ

$\theta$

θ_{0}

$\theta_0$

$\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ $f(x;\theta_0)$

$f(x;\theta_0)$ $f(x;\theta_0)$ dalam model dengan berbagai cara.

$X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

$\mu$

Juga, contoh ini menggambarkan bahwa kita benar-benar membutuhkan beberapa teori untuk membantu kita dalam cara membangun keluarga model.

— kjetil b halvorsen
sumber

1

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

1

Ya, apa yang Anda katakan itu benar, @idadanny Itu nol ketika dievaluasi pada nilai parameter yang benar.

— kjetil b halvorsen

θ

$\theta$

θ_{0}

$\theta_0$

\hat{θ}

$\hat{\theta}$

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

31

$\ell$ $\ell$ $\ell$

$\ell$ $\theta$ $\theta$

Pertimbangkan bahwa Anda memiliki model besar dengan jutaan parameter. Dan Anda memiliki thumb drive kecil untuk menyimpan model Anda. Bagaimana Anda memprioritaskan berapa banyak bit dari setiap parameter yang akan disimpan? Jawaban yang tepat adalah mengalokasikan bit sesuai dengan informasi Fisher (Rissanen menulis tentang ini). Jika informasi Fisher parameter adalah nol, parameter itu tidak masalah.

Kami menyebutnya "informasi" karena informasi Fisher mengukur seberapa banyak parameter ini memberi tahu kami tentang data.

Cara sehari-hari untuk memikirkannya adalah ini: Misalkan parameter mengendarai mobil, dan data di kursi belakang mengoreksi pengemudi. Yang mengganggu dari data adalah informasi Fisher. Jika data memungkinkan pengemudi mengemudi, informasi Fisher adalah nol; jika data terus-menerus melakukan koreksi, itu besar. Dalam hal ini, informasi Fisher adalah jumlah informasi yang mengalir dari data ke parameter.

Pertimbangkan apa yang terjadi jika Anda membuat kemudi lebih sensitif. Ini setara dengan reparametrization. Dalam hal ini, data tidak ingin terlalu keras karena takut oversteering mobil. Reparametrization semacam ini mengurangi informasi Fisher.

— Neil G
sumber

20

Tambahan untuk jawaban bagus @ NeilG (+1) dan untuk menjawab pertanyaan spesifik Anda:

Saya akan mengatakan itu menghitung "presisi" daripada "kesalahan" itu sendiri.

$I$ $I_{j,j}$ $tr(I)$ harus positif. Ini berarti bahwa Anda hanya dapat memiliki penaksir "tidak ideal" sesuai dengan pernyataan Anda. Jadi tidak, informasi Fisher yang positif tidak terkait dengan seberapa ideal MLE Anda.

Definisi berbeda dalam cara kami menafsirkan gagasan informasi dalam kedua kasus. Karena itu, dua pengukuran terkait erat.

Kebalikan dari informasi Fisher adalah varians minimum dari estimator yang tidak bias ( terikat Cramér-Rao ). Dalam pengertian itu, matriks informasi menunjukkan seberapa banyak informasi tentang koefisien yang diperkirakan terdapat dalam data. Sebaliknya entropi Shannon diambil dari termodinamika. Ini menghubungkan konten informasi dari nilai tertentu dari variabel sebagai mana adalah probabilitas variabel mengambil nilai. Keduanya merupakan pengukuran seberapa "informatif" suatu variabel. Dalam kasus pertama Anda menilai informasi ini dalam hal ketepatan sedangkan dalam kasus kedua dalam hal gangguan; sisi yang berbeda, koin yang sama! : D $–p·log_2(p)$ $p$

Untuk rekap: Kebalikan dari matriks informasi Fisher dievaluasi pada nilai estimator ML adalah matriks kovarians asimptotik atau perkiraan. Karena nilai estimator ML ini ditemukan dalam minimum lokal secara grafis, informasi Fisher menunjukkan seberapa dalam minimum itu dan siapa ruang gerak yang Anda miliki di sekitarnya. Saya menemukan makalah ini oleh Lutwak et al. tentang Perluasan informasi Fisher dan ketimpangan Stam merupakan bacaan informatif tentang masalah ini. Artikel Wikipedia tentang Metrik Informasi Fisher dan perbedaan Jensen-Shannon juga baik untuk Anda mulai. $I$

— usεr11852 kata Reinstate Monic
sumber