Masalah estimasi yang mustahil?

Pertanyaan

Varian dari distribusi binomial negatif (NB) selalu lebih besar dari rata-rata. Ketika rata-rata sampel lebih besar dari variansnya, mencoba menyesuaikan parameter NB dengan kemungkinan maksimum atau dengan estimasi momen akan gagal (tidak ada solusi dengan parameter hingga).

Namun, ada kemungkinan bahwa sampel yang diambil dari distribusi NB memiliki rata-rata lebih besar dari varians. Berikut adalah contoh yang dapat direproduksi dalam R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Ada probabilitas non-nol bahwa NB akan menghasilkan sampel yang parameternya tidak dapat diperkirakan (dengan metode kemungkinan dan momen maksimum).

Bisakah perkiraan yang layak diberikan untuk sampel ini?
Apa yang dikatakan teori estimasi ketika estimator tidak didefinisikan untuk semua sampel?

Tentang jawabannya

Jawaban dari @MarkRobinson dan @Yves membuat saya sadar bahwa parametrization adalah masalah utama. Kepadatan probabilitas NB biasanya ditulis sebagai

atau

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

Di bawah parametrization pertama, estimasi kemungkinan maksimum adalah setiap kali varians sampel lebih kecil dari rata-rata, jadi tidak ada yang berguna dapat dikatakan tentang . Di bawah yang kedua, itu adalah , sehingga kami dapat memberikan estimasi wajar . Akhirnya, @MarkRobinson menunjukkan bahwa kita dapat memecahkan masalah nilai tak terhingga dengan menggunakan $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ bukannya. $\frac{r}{1+r}$ $r$

Kesimpulannya, tidak ada yang salah secara fundamental dengan masalah estimasi ini, kecuali bahwa Anda tidak selalu dapat memberikan interpretasi yang bermakna dan untuk setiap sampel. Agar adil, idenya hadir dalam kedua jawaban. Saya memilih @MarkRobinson sebagai yang benar untuk komplemen yang dia berikan. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
sumber

Tidak benar untuk menyatakan bahwa kemungkinan maksimum gagal dalam kasus seperti itu. Hanya metode momen yang dapat menghadapi kesulitan.

— Xi'an

@ Xi'an Bisakah Anda memperluas? Kemungkinan sampel ini tidak memiliki maksimum dalam domain

(lihat juga ini sebagai contoh). Apakah saya melewatkan sesuatu? Dalam hal apa pun, jika Anda dapat memberikan perkiraan ML parameter untuk kasus ini, saya akan memperbarui pertanyaan.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

Kemungkinannya memiliki maksimum pada jarak tak terbatas untuk

dan

. Masalah yang sama tetapi dengan diagnostik yang lebih sederhana adalah untuk distribusi Lomax : diketahui bahwa estimasi ML bentuknya tidak terbatas ketika sampel memiliki koefisien variasi

. Namun probabilitas kejadian ini positif untuk ukuran sampel apa pun, dan cukup kuat untuk, katakanlah

, dan

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— Yves

@Yves Terima kasih untuk contoh lain ini (yang tidak saya sadari). Apa yang dilakukan orang dalam kasus ini?

— gui11aume

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

Jawaban:

Pada dasarnya, untuk sampel Anda, perkiraan parameter ukuran berada pada batas ruang parameter. Seseorang juga dapat mempertimbangkan reparameterisasi seperti d = size / (size + 1); ketika ukuran = 0, d = 0, ketika ukuran cenderung tak hingga, d mendekati 1. Ternyata, untuk pengaturan parameter yang Anda berikan, perkiraan ukuran tak hingga (d mendekati 1) terjadi sekitar 13% dari waktu untuk Taksiran Cox-Reid adjusted profil likelihood (APL), yang merupakan alternatif dari perkiraan MLE untuk NB (contoh ditunjukkan di sini) . Perkiraan parameter rata-rata (atau 'prob') tampaknya ok (lihat gambar, garis biru adalah nilai sebenarnya, titik merah adalah perkiraan untuk seed Anda = 167 sampel). Rincian lebih lanjut tentang teori APL ada di sini .

Jadi, saya akan mengatakan kepada 1 .: Perkiraan parameter yang layak dapat dimiliki .. size = infinity atau dispersi = 0 adalah estimasi yang masuk akal mengingat sampel. Pertimbangkan ruang parameter yang berbeda dan taksiran akan terbatas.

— Mark Robinson
sumber

Terima kasih telah bergabung dengan situs ini untuk menjawab pertanyaan saya! Detail dari kemungkinan profil yang disesuaikan Cox-Reid terlihat sangat menjanjikan.

— gui11aume

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

Properti ML adalah untuk ukuran sampel besar: dalam kondisi keteraturan, perkiraan ML terbukti ada, menjadi unik, dan cenderung ke parameter sebenarnya. Namun untuk ukuran sampel terbatas yang diberikan, estimasi ML bisa gagal ada di domain, misalnya karena maksimum tercapai pada batas. Itu juga bisa ada dalam domain yang lebih besar dari yang digunakan untuk memaksimalkan.

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

Demi invarian dengan parameterisasi ulang, saya percaya bahwa parameter tak terbatas dapat masuk akal dalam beberapa kasus.

— Yves
sumber