Penentu matriks informasi Fisher untuk model overparameter

Pertimbangkan variabel acak Bernoulli dengan parameter (probabilitas keberhasilan). Fungsi kemungkinan dan informasi Fisher ( matriks ) adalah: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Sekarang pertimbangkan versi "over-parameterized" dengan dua parameter: probabilitas keberhasilan $\theta_1$ dan probabilitas kegagalan $\theta_0$ . (Perhatikan bahwa $\theta_1+\theta_0=1$ , dan batasan ini menyiratkan bahwa salah satu parameternya berlebihan.) Dalam hal ini fungsi kemungkinan dan matriks informasi Fisher (FIM) adalah:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Perhatikan bahwa penentu kedua FIM ini identik. Selain itu, properti ini meluas ke kasus model kategori yang lebih umum (yaitu lebih dari dua negara). Tampaknya juga meluas ke model log-linear dengan berbagai himpunan bagian dari parameter dibatasi menjadi nol; dalam hal ini, parameter ekstra "redundan" sesuai dengan fungsi partisi log, dan ekuivalensi dari dua determinan FIM dapat ditunjukkan berdasarkan pada komplemen Schur dari FIM yang lebih besar. (Sebenarnya, untuk model log-linear FIM yang lebih kecil hanyalah pelengkap Schur dari FIM yang lebih besar.)

Dapatkah seseorang menjelaskan apakah properti ini meluas ke set model parametrik yang lebih besar (misalnya untuk semua keluarga eksponensial), memungkinkan opsi untuk menurunkan determinan FIM berdasarkan pada set parameter yang "diperluas"? Yaitu mengasumsikan setiap model statistik yang diberikan dengan parameter yang terletak pada manifold dimensi yang tertanam dalam ruang dimensi . Sekarang, jika kita memperluas set parameter untuk memasukkan satu dimensi lagi (yang benar-benar dibatasi berdasarkan yang lain) dan menghitung FIM berdasarkan parameter tersebut , akankah kita selalu mendapatkan determinan yang sama dengan yang didasarkan pada aslinya parameter (independen)? Juga, bagaimana kedua FIM ini terkait? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Alasan saya mengajukan pertanyaan ini adalah bahwa FIM dengan parameter tambahan seringkali tampak lebih sederhana. Pikiran pertama saya adalah bahwa ini seharusnya tidak berfungsi secara umum. FIM melibatkan penghitungan sebagian turunan dari log log kemungkinan setiap parameter. Derivatif parsial ini mengasumsikan bahwa, sementara parameter dalam pertanyaan berubah, semua parameter lainnya tetap konstan, yang tidak benar setelah kami melibatkan parameter tambahan (dibatasi). Dalam kasus ini, menurut saya turunan parsial tidak lagi valid karena kita tidak dapat mengasumsikan parameter lainnya konstan; Namun, saya belum menemukan bukti bahwa ini sebenarnya masalah. (Jika turunan parsial bermasalah dalam kasus dengan parameter dependen, adalah total turunan $(n+1) \times (n+1)$ dibutuhkan bukan? Saya belum melihat contoh menghitung FIM dengan total turunan, tapi mungkin itu solusinya ...)

Satu-satunya contoh yang dapat saya temukan secara online yang menghitung FIM berdasarkan pada set parameter yang "diperluas" adalah sebagai berikut: catatan ini berisi contoh untuk distribusi kategori, menghitung turunan parsial yang diperlukan seperti biasa (yaitu seolah-olah setiap parameter independen , meskipun ada kendala di antara parameter).

— Tyler Streeter
sumber

Pertanyaan bagus! Saya pikir spesifikasi dua parameter variabel acak Bernoulli adalah contoh yang kurang menguntungkan, karena tanpa kendala, tidak lagi terikat pada kepadatan. Bisakah Anda mereproduksi pengamatan Anda untuk keluarga eksponensial melengkung, misalnya?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa Saya mengasumsikan bahwa kendala berlaku dalam kasus dua parameter (yang Anda sebutkan), jadi fungsi kemungkinan masih akan menjadi kepadatan yang valid. Juga, ya, saya dapat mereproduksi pengamatan ini misalnya untuk model log-linear dengan berbagai himpunan parameter yang dibatasi menjadi nol; dalam hal ini, parameter "redundant" sesuai dengan fungsi partisi log.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

Bagaimana dengan ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

Jawaban:

Untuk normal , matriks informasi adalah Untuk normalJadi, pengamatan Anda bahwa determinan yang setara itu tidak universal, tetapi itu bukan keseluruhan cerita. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Secara umum, jika adalah matriks informasi di bawah reparametrization maka, tidak sulit untuk melihat bahwa matriks informasi untuk parameter asli adalah mana adalah Jacobian dari transformasi . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Sebagai contoh Bernoulli dan . Jadi, Jacobian adalah dan karenanya $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Untuk contoh normal melengkung,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Saya pikir sekarang Anda dapat dengan mudah menghubungkan faktor-faktor penentu.

Tindak lanjut setelah komentar

Jika saya mengerti Anda dengan benar, FIM valid selama Anda memperluas parameter dengan cara yang berarti: kemungkinan di bawah parametrization baru harus menjadi kepadatan yang valid. Karenanya, saya menyebut contoh Bernoulli sebagai contoh yang tidak menguntungkan.

Saya pikir tautan yang Anda berikan memiliki kelemahan serius dalam derivasi FIM untuk variabel kategori, karena kami memiliki dan . Ekspektasi Hessian negatif memberi , tetapi tidak untuk kovarians vektor skor. Jika Anda mengabaikan kendala, kesetaraan matriks informasi tidak berlaku. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
sumber

Terima kasih telah menyebutkan pendekatan transformasi Jacobian dan untuk contoh sederhana dan jelas. Bisakah Anda (atau siapa pun) mengomentari masalah berikut yang masih menjadi perhatian saya: ketika memperluas set parameter dengan satu dimensi, seperti yang kami lakukan di sini, kami memperkenalkan batasan di antara parameter sehingga setiap turunan parsial (seperti yang dipersyaratkan oleh FIM) seharusnya tidak valid karena sekarang, ketika kita memvariasikan satu parameter, yang lainnya tidak lagi konstan. Jadi apakah FIM bahkan valid untuk set parameter yang diperluas, mengingat bahwa derivatif parsial tidak valid karena kendala tambahan?

— Tyler Streeter

@ TylerStreeter Saya telah memperbarui jawaban saya untuk mengatasi masalah Anda.

— Khashaa

Tampaknya hasilnya berlaku untuk jenis hubungan tertentu antara parameter.

Tanpa mengklaim generalitas penuh untuk hasil di bawah ini, saya tetap berpegang pada kasus "parameter satu ke dua". Mendenotasikan persamaan implisit yang mengungkapkan hubungan yang harus terus antara dua parameter. Kemudian log "kemungkinan diperluas", "dua parameter" (bukan apa yang dihitung OP - kami akan tiba di sana) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ setara dengan kemungkinan , karena , ( adalah a pengali) dan kita dapat memperlakukan dua parameter sebagai independen, sementara kita membedakan.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Menggunakan subskrip untuk menunjukkan turunan sehubungan dengan parameter (satu turunan pertama subskrip, dua turunan subskrip kedua), penentu Hessian dari kemungkinan log yang diperluas yang benar akan menjadi

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Apa yang dilakukan OP?

Dia menganggap kemungkinan salah "mengabaikan" hubungan antara dua parameter, dan tanpa memperhitungkan kendala . Dia kemudian melanjutkan dengan diferensiasi dan memperoleh $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Jelaslah bahwa secara umum tidak sama dengan . $(2)$ $(1)$

Tetapi jika , maka $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Jadi jika hubungan antara parameter aktual dan parameter redundan sedemikian rupa sehingga turunan parsial kedua dari fungsi implisit yang menghubungkan mereka semua nol , maka pendekatan yang secara fundamental salah, berakhir "benar".

Untuk kasus Bernoulli, memang kami punya

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
Untuk menanggapi pertanyaan @Khashaa dan menunjukkan mekanika di sini, kami mempertimbangkan kemungkinan yang ditentukan dengan parameter redundan, tetapi juga di bawah kendala yang menghubungkan parameter redundan dengan yang sebenarnya. Apa yang kami lakukan dengan kemungkinan log adalah memaksimalkannya - jadi di sini kami memiliki kasus maksimalisasi terbatas. Asumsikan sebuah sampel berukuran ,: $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Masalah ini memiliki Langrangean (apa yang secara informal saya sebut "kemungkinan diperluas yang benar" di atas),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Kondisi orde pertama untuk maksimum adalah

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

untuk itu kita memperoleh relasi

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

menggunakan batasan di mana yang di atas valid, kita peroleh $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

seperti yang seharusnya.

Selain itu, karena batasannya linier di semua parameter, turunan keduanya akan menjadi nol. Ini tercermin dalam fakta bahwa dalam turunan pertama lagrangean, pengali "berdiri sendiri" dan itu akan dihilangkan ketika kita akan mengambil turunan kedua dari lagrangean. Yang pada gilirannya akan membawa kita ke Hessian yang determinannya akan sama dengan turunan kedua (satu dimensi) dari kemungkinan log satu-parameter, setelah memaksakan juga kendala (yang dilakukan OP). Kemudian mengambil negatif dari nilai yang diharapkan dalam kedua kasus, tidak mengubah kesetaraan matematika ini, dan kita sampai pada hubungan "Informasi Fisher satu dimensi = penentu Informasi Fisher dua dimensi". Sekarang $\lambda$ mengingat bahwa kendala adalah linier dalam semua parameter, OP mendapatkan hasil yang sama (pada tingkat turunan kedua) tanpa memperkenalkan kendala dengan pengali fungsi yang akan dimaksimalkan, karena pada tingkat turunan kedua, keberadaan / efek dari kendala menghilang dalam kasus seperti itu.

Semua ini berkaitan dengan kalkulus, bukan dengan konsep statistik.

— Alecos Papadopoulos
sumber

Sepertinya saya tidak bisa mengikuti logika Anda. Bisakah Anda jelaskan mengapa Lagrangean-like dianggap sebagai "kemungkinan diperpanjang", "dua parameter" log-kemungkinan? Juga, Goni itu benar-benar misterius bagiku. Apakah Anda menghitung matriks informasi yang diamati?

L^{e}

$L^e$

— Khashaa

@Khashaa Sudah diketahui bahwa "Hessian" adalah matriks turunan kedua dari fungsi multivarian.

— Alecos Papadopoulos

Akan sangat membantu jika downvoter di sini mengirim jawaban - karena contoh spesifik OP benar-benar ada - dan menuntut penjelasan.

— Alecos Papadopoulos

Maaf, jika pertanyaan saya tidak jelas. Pertanyaan saya adalah tentang bagaimana Anda menghubungkan Goni ke matriks informasi, karena saya tidak melihat adanya harapan yang beroperasi di atasnya dan hasilnya tampak seperti matriks informasi yang diamati. Selain itu, Anda dapat menjelaskan mengapa adalah loglikelihood benar? Saya kira Anda menggunakan beberapa metode berprinsip untuk mengevaluasi kemungkinan terbatas, tetapi saya tidak mengerti cara kerjanya.

L^{e}

$L^e$

— Khashaa

@Khashaa Saya menambahkan eksposisi menggunakan contoh OP.

— Alecos Papadopoulos