Apa yang dimaksud dengan pengidentifikasian model?

Saya tahu bahwa dengan model yang tidak dapat diidentifikasi, data dapat dikatakan dihasilkan oleh beberapa penugasan berbeda ke parameter model. Saya tahu bahwa kadang-kadang dimungkinkan untuk membatasi parameter sehingga semua dapat diidentifikasi, seperti dalam contoh di Cassella & Berger 2nd ed, bagian 11.2.

Diberikan model tertentu, bagaimana saya bisa mengevaluasi apakah itu dapat diidentifikasi atau tidak?

identifiability

— Jack Tanner
sumber

Untuk pengidentifikasian kita berbicara tentang parameter $\theta$ (yang bisa menjadi vektor), yang berkisar di atas ruang parameter $\Theta$ , dan keluarga distribusi (untuk kesederhanaan, pikirkan PDF) diindeks oleh $\theta$ yang biasanya kita tulis seperti $\{ f_{\theta}|\, \theta \in \Theta\}$ . Misalnya, $\theta$ bisa jadi $\theta = \beta$ dan $f$ bisa jadi

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ yang berarti

Θ = (0, \infty)

$\Theta = (0,\infty)$ . Agar model dapat diidentifikasi, transformasi yang memetakan

θ

$\theta$ ke

f_{θ}

$f_{\theta}$ harussatu-ke-satu. Diberikan model di pangkuan Anda, cara paling mudah untuk memeriksa ini adalah mulai dengan persamaan

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$ , (persamaan ini harus berlaku untuk (hampir) semua

x

$x$ dimendukung ) dan mencoba menggunakan aljabar (atau argumen lain) untuk menunjukkan bahwa persamaan seperti itu menyiratkan bahwa, pada kenyataannya,

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$ .

Jika Anda berhasil dengan rencana ini, maka model Anda dapat diidentifikasi; lanjutkan dengan bisnis Anda. Jika tidak, maka model Anda tidak dapat diidentifikasi, atau Anda perlu menemukan argumen lain. Intuisi adalah sama, terlepas: dalam model yang dapat diidentifikasi tidak mungkin untuk dua parameter yang berbeda (yang bisa menjadi vektor) untuk menimbulkan fungsi kemungkinan yang sama.

Ini masuk akal, karena jika, untuk data tetap, dua parameter unik memunculkan kemungkinan yang sama, maka tidak mungkin untuk membedakan antara dua parameter kandidat berdasarkan data saja. Tidak mungkin untuk mengidentifikasi parameter sebenarnya, dalam hal ini.

Untuk contoh di atas, persamaan adalah $f_{\theta_{1}} = f_{\theta_{2}}$ untuk (hampir) semua. Jika kita mengambil log dari kedua sisi, kita dapatkan

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

untuk

, yang menyiratkan fungsi linear

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

adalah (hampir) identik dengan nol. Satu-satunya baris yang melakukan hal seperti itu adalah yang memiliki kemiringan 0 dan y-mencegat nol. Semoga Anda bisa melihat sisanya.

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

Ngomong-ngomong, jika Anda bisa tahu dengan melihat model Anda bahwa itu tidak dapat diidentifikasi (kadang-kadang Anda bisa), maka adalah umum untuk memperkenalkan batasan tambahan untuk membuatnya dapat diidentifikasi (seperti yang Anda sebutkan). Ini mirip dengan mengenali bahwa fungsi bukan satu-ke-satu untuk pada , tetapi itu adalah satu-ke-satu jika kita membatasi untuk berbaring di dalam . Dalam model yang lebih rumit persamaannya lebih keras tetapi idenya sama. $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Penjelasan bagus, komprehensif, sederhana. Analogi yang Anda buat memperjelas konsepnya.

— kardinal

Anda tentu menjawab pertanyaan yang saya tanyakan, tetapi saya terlalu pemula untuk benar-benar memahami jawaban Anda. Jika Anda mengetahui penjelasan yang lebih baik untuk pemula, beri tahu saya.

— Jack Tanner

@ kardinal, terima kasih. Bagi Jack, baiklah, begitu. Bagaimana dengan ini: jika ada sesuatu di atas yang belum jelas, dan jika Anda menunjukkannya kepada saya, maka saya dapat mencoba menyempurnakannya lagi. Atau, jika Anda mau, Anda dapat menulis pertanyaan lain yang meminta penjelasan "orang awam" atau contoh dari ide-ide ini. Saya pikir itu adil untuk mengatakan bahwa pengidentifikasian adalah topik yang biasanya muncul setelah periode pengantar yang khas, jadi jika Anda ingin memberikan beberapa konteks mengapa Anda mengalami hal ini sekarang mungkin dapat membantu penjawab potensial.

y_{saya j} = μ + α_{1} + α_{2} + ... + α_{k} + ε_{saya}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

$\Sigma$ $\Sigma$ $\Sigma$

$\Sigma$

Jika Anda melakukan masalah kemungkinan maksimum, maka Anda tahu matriks kovarians asimptotik dari perkiraan Anda sama dengan kebalikan dari informasi nelayan yang dievaluasi di MLE. Jadi, memeriksa matriks informasi fisher untuk singularitas (perkiraan) juga merupakan cara yang wajar untuk menilai pengidentifikasian. Ini juga berfungsi di mana informasi perikanan teoretis sulit untuk dihitung karena seringkali mungkin untuk secara akurat memperkirakan secara numerik penduga yang konsisten dari matriks informasi nelayan dengan, misalnya, memperkirakan produk luar yang diharapkan dari fungsi skor oleh rata-rata produk luar yang diamati .

$\Sigma$

— Makro
sumber

(+1) Bagus sekali. Saya bahkan tidak berpikir untuk mendekati pertanyaan ini dari arah itu.

Salah satu alasan gagasan tentang menghitung matriks kovarians berdasarkan data yang disimulasikan sangat rapi, adalah bahwa orang harus mensimulasikan data untuk melakukan cek Cook-Gelman-Rubin .

— Jack Tanner