Estimasi kemungkinan maksimum untuk distribusi terpotong

Pertimbangkan sampel independen diperoleh dari variabel acak yang diasumsikan mengikuti distribusi terpotong (mis. Distribusi terpotong ) dari nilai minimum dan maksimum yang diketahui (hingga) dan tetapi dari parameter yang tidak diketahui dan . Jika mengikuti distribusi non-terpotong, estimator kemungkinan maksimum dan untuk dan dari akan menjadi rata-rata sampel $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ dan varians sampel . Namun, untuk distribusi terpotong, varians sampel yang didefinisikan dengan cara ini dibatasi oleh sehingga tidak selalu merupakan penduga yang konsisten: untuk , ia tidak dapat konvergen dalam probabilitas untuk saat menuju tak terhingga. Jadi tampaknya dan bukan penduga kemungkinan maksimum dari dan untuk distribusi terpotong. Tentu saja, ini diharapkan sejak dan $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ parameter dari distribusi normal terpotong bukan berarti dan variansnya.

Jadi, apa yang merupakan penduga kemungkinan maksimum dari parameter dan dari distribusi terpotong dari nilai minimum dan maksimum yang diketahui? $\mu$ $\sigma$

— a3nm
sumber

Apakah Anda yakin dengan analisis Anda? Saya pikir Anda membuat asumsi yang tidak valid: untuk situasi terpotong, MLE dari tidak lagi varians sampel (dan, secara umum, MLE dari bukan lagi berarti sampel)!

σ^{2}

$\sigma^2$

μ

$\mu$

— Whuber

whuber: Saya tahu, inilah pertanyaan saya: apa MLE dari dan dalam kasus terpotong? Menambahkan kalimat untuk menegaskan hal ini.

σ^{2}

$\sigma^2$

μ

$\mu$

— a3nm

Tidak ada solusi bentuk tertutup. Yang dapat Anda lakukan adalah meminimalkan kemungkinan log secara numerik. Tapi ini secara kualitatif tidak berbeda dari banyak model lain, seperti regresi logistik, yang juga tidak memiliki solusi bentuk tertutup.

— whuber

whuber: Jika ini benar, ini cukup mengecewakan. Apakah Anda memiliki referensi tentang kurangnya solusi formulir tertutup? Apakah ada penduga bentuk tertutup yang kemungkinan tidak maksimum tetapi setidaknya konsisten (dan opsional tidak bias?).

— a3nm

@whuber: Bisakah Anda setidaknya menyederhanakan sampel Anda menjadi statistik yang cukup sehingga minimalisasi cepat?

— Neil G

Pertimbangkan setiap keluarga lokasi skala ditentukan oleh "standar" distribusi , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Dengan asumsi dibedakan kami dengan mudah menemukan bahwa PDF adalah $F$ . $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Memotong distribusi ini untuk membatasi dukungan mereka antara dan , , berarti bahwa PDF diganti oleh $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(dan nol untuk semua nilai ) di mana adalah faktor normalisasi yang diperlukan untuk memastikan bahwa berintegrasi menjadi satu. (Perhatikan bahwa identik $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ karena tidak adanya pemotongan.) Karena itu kemungkinan log untuk data iid adalah $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Poin kritis (termasuk global minimum) ditemukan di mana (kasus khusus yang akan saya abaikan di sini) atau gradiennya hilang. Menggunakan subskrip untuk menunjukkan turunan, kita dapat secara formal menghitung gradien dan menuliskan persamaan kemungkinan sebagai $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, Sebuah, b)}{C (μ, σ, Sebuah, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{saya} [\frac{- f_{σ} (\frac{x_{saya} - μ}{σ})}{σ^{2} f (\frac{x_{saya} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, Sebuah, b)}{C (μ, σ, Sebuah, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Karena dan telah diperbaiki, lepaskan dari notasi dan tulis sebagai dan $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ sebagai . (Tanpa pemotongan, kedua fungsi akan sama dengan nol.) Memisahkan istilah yang melibatkan data dari yang lainnya berikan $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Dengan membandingkan ini dengan situasi tanpa pemotongan jelaslah

Statistik yang cukup untuk masalah awal cukup untuk masalah terpotong (karena sisi kanan tidak berubah).
Kemampuan kita untuk mencari solusi bentuk tertutup bergantung pada tractability dari dan . Jika ini tidak melibatkan dan dengan cara sederhana, kami tidak bisa berharap untuk mendapatkan solusi bentuk tertutup secara umum. $A$ $B$ $\mu$ $\sigma$

Untuk kasus keluarga normal, tentu saja diberikan oleh PDF normal kumulatif, yang merupakan perbedaan fungsi kesalahan: tidak ada kemungkinan solusi bentuk-tertutup dapat diperoleh dalam umum. Namun, hanya ada dua statistik yang cukup (rata-rata sampel dan varians akan dilakukan) dan CDF semulus mungkin, sehingga solusi numerik akan relatif mudah diperoleh. $C(\mu,\sigma,a,b)$

— whuber
sumber

Terima kasih banyak atas jawaban yang sangat terperinci ini! Saya tidak yakin mendapatkan apa

, dan

, bisakah Anda mendefinisikannya? Juga, itu jelas tetapi lebih tepatnya mungkin Anda bisa mengatakan bahwa ekspresi Anda untuk pdf adalah untuk

(dan pdf adalah nol di luar itu). Terima kasih lagi!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

— a3nm

Notasi yang lebih panjang biasanya adalah

, dll: seperti yang diumumkan, ini adalah turunan. Saya akan melakukan perubahan kedua yang Anda sarankan karena ini merupakan klarifikasi penting, terima kasih.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

— Whuber

Juga, karena jawaban Anda lebih umum daripada yang saya harapkan, saya mengedit pertanyaan saya agar tidak terlalu menekankan pada kasus distribusi normal. Sekali lagi terima kasih atas usaha Anda.

— a3nm

Lebih mudah dijelaskan pada tingkat umum ini dibandingkan dengan berfokus pada distribusi Normal! Menghitung derivatif dan menunjukkan bentuk tepat CDF adalah gangguan yang tidak perlu (meskipun berguna ketika Anda mulai benar-benar mengkode solusi numerik).

— whuber

Terima kasih telah memperbaikinya! Anda melewatkan salah satu dari mereka; bisakah Anda meninjau hasil edit saya?

— a3nm