Mengapa tepatnya informasi Fisher yang diamati digunakan?

17

Dalam pengaturan kemungkinan maksimum standar (sampel I $Y_{1}, \ldots, Y_{n}$ dari beberapa distribusi dengan kepadatan $f_{y}(y|\theta_{0}$ )) dan dalam kasus model yang ditentukan dengan benar, informasi Fisher diberikan oleh

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

di mana harapan diambil sehubungan dengan kepadatan sebenarnya yang menghasilkan data. Saya telah membaca informasi Fisher yang diamati

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

digunakan utama karena integral yang terlibat dalam menghitung (diharapkan) Informasi Fisher mungkin tidak layak dalam beberapa kasus. Yang membingungkan saya adalah bahwa bahkan jika integral dapat dilakukan, harapan harus diambil sehubungan dengan model yang benar, yang melibatkan nilai parameter yang tidak diketahui . Jika itu terjadi tampak bahwa tanpa mengetahui tidak mungkin untuk menghitung . Apakah ini benar? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— pengguna2249626
sumber

13

Anda punya empat quanties sini: parameter yang benar , perkiraan konsisten , informasi diharapkan di dan informasi diamati di . Kuantitas ini hanya ekuivalen asimptotik, tetapi itu biasanya bagaimana mereka digunakan. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Informasi yang diamati konvergen dalam probabilitas dengan informasi yang diharapkan
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ ketikaadalah sampel pertama dari . Di sinimenunjukkan harapan w / r / t distribusi diindeks oleh:. Konvergensi ini berlaku karena hukum bilangan besar, sehingga asumsi bahwa $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ sangat penting di sini. $Y \sim f(\theta_0)$
$\hat \theta$ $\theta_0$ $\theta_0$ $^*$

$^*$

Ucapan

Ketika Anda menduga, informasi yang diamati biasanya lebih mudah untuk dikerjakan karena diferensiasi lebih mudah daripada integrasi, dan Anda mungkin telah mengevaluasinya dalam beberapa optimasi numerik. Dalam beberapa keadaan (distribusi Normal) mereka akan sama.

Artikel "Menilai Akurasi Pengukur Kemungkinan Maksimum: Informasi Nelayan Teramati vs. Diharapkan" oleh Efron dan Hinkley (1978) membuat argumen yang mendukung informasi yang diamati untuk sampel terbatas.

— Andrew M
sumber

4

Ada beberapa studi simulasi yang tampak mendukung pengamatan teori Efron & Hinkley (yang disebutkan dalam jawaban Andrew), inilah yang saya tahu tentang begitu saja: Maldonado, G. dan Greenland, S. (1994). Perbandingan kinerja interval kepercayaan berbasis model ketika bentuk model yang benar tidak diketahui. Epidemiologi, 5, 171-182. Saya belum melihat studi yang bertentangan. Sangat menarik kemudian bahwa paket GLM standar saya tahu menggunakan informasi yang diharapkan untuk menghitung interval Wald. Tentu saja ini bukan masalah ketika (seperti dalam GLM linear dalam parameter alami) matriks informasi yang diamati dan diharapkan sama.

— Sander Greenland
sumber