Distribusi mana yang memiliki solusi bentuk tertutup untuk estimasi kemungkinan maksimum?

21

Distribusi mana yang memiliki solusi bentuk tertutup untuk perkiraan kemungkinan maksimum dari parameter dari sampel pengamatan independen?

distributions mathematical-statistics maximum-likelihood

— Kolonel Panic
sumber

25

Tanpa kehilangan umum yang cukup berarti kita dapat mengasumsikan bahwa kerapatan probabilitas (atau massa) untuk setiap pengamatan (dari pengamatan) adalah sangat positif, memungkinkan kita untuk menuliskannya sebagai eksponensial $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

untuk vektor parameter . $\theta = (\theta_j)$

Menyamakan gradien fungsi kemungkinan log ke nol (yang menemukan titik stasioner kemungkinan, di antaranya akan menjadi semua interior global maxima jika ada) memberikan seperangkat persamaan bentuk

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

satu untuk setiap . Untuk salah satu dari ini untuk memiliki solusi siap, kami ingin dapat memisahkan istilah dari istilah . (Segala sesuatu mengalir dari ide kunci ini, dimotivasi oleh Prinsip Kematian Matematika : lakukan sesedikit mungkin pekerjaan; pikirkan dulu sebelum menghitung; mengatasi versi mudah dari masalah sulit terlebih dahulu.) Cara paling umum untuk melakukan ini adalah dengan persamaan yang harus diambil formulir $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

untuk fungsi yang diketahui , , dan , untuk itu solusinya diperoleh dengan menyelesaikan persamaan simultan $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

untuk . Secara umum ini akan sulit untuk dipecahkan, tetapi memberikan himpunan nilai $\theta$ memberikan informasi lengkap tentang, kita bisa menggunakan vektor inisebagai gantiitu sendiri (dengan demikian agak menggeneralisasi ide solusi "bentuk tertutup", tetapi dengan cara yang sangat produktif). Dalam kasus seperti itu, mengintegrasikan sehubungan denganhasil $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(di mana berarti semua komponen kecuali ). Karena sisi kiri secara fungsional independen dari , kita harus memiliki itu untuk beberapa fungsi tetap ; bahwa tidak boleh bergantung pada sama sekali; dan adalah turunan dari beberapa fungsi dan adalah turunan dari beberapa fungsi lainnya $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ , keduanya berfungsi secara independen dari data. Dari mana $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Kepadatan yang dapat ditulis dalam bentuk ini membentuk keluarga Koopman-Pitman-Darmois yang terkenal , atau keluarga eksponensial . Ini terdiri dari keluarga parametrik penting, baik kontinu dan diskrit, termasuk Gamma, Normal, Chi-squared, Poisson, Multinomial, dan banyak lainnya .

— whuber
sumber

Dan bagi mereka yang tidak memiliki formulir tertutup, kita bisa menggunakan Algoritma EM. Sebagai contoh, perhatikan moddel poisson nol-inflated: stats.stackexchange.com/questions/32133/…

— Damien

0

Saya tidak tahu apakah saya bisa mendaftar semuanya. Eksponensial, normal dan binomial muncul di pikiran dan mereka semua termasuk dalam kelas keluarga eksponensial. Keluarga eksponensial memiliki statistik yang cukup dalam eksponen dan mle sering merupakan fungsi yang baik dari statistik yang cukup ini.

— Michael R. Chernick
sumber

8

Pertanyaan ini sangat luas tetapi tampaknya OP mungkin bertanya apa yang menjadi ciri distribusi yang memiliki solusi bentuk-tertutup untuk MLE daripada meminta daftar lengkap. Bagaimanapun, daftar lengkap bahkan tidak mungkin.

— Makro

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$ , dari mana metode numerik diperlukan untuk menemukan parameter bentuk

a

$a$ dan

b

$b$ .

— Neil G

Thnaks Neil untuk menunjukkan hal itu. Saya kira tidak semua distribusi keluarga eksponensial memiliki solusi bentuk tertutup.

— Michael R. Chernick