Beralih dari Memodelkan Proses menggunakan Distribusi Poisson untuk menggunakan Distribusi Binomial Negatif?

$\newcommand{\P}{\mathbb{P}}$ Kami memiliki proses acak yang mungkin-atau-mungkin-tidak terjadi beberapa kali dalam jangka waktu $T$ . Kami memiliki umpan data dari model yang sudah ada dari proses ini, yang menyediakan probabilitas sejumlah peristiwa yang terjadi pada periode $0 \leq t < T$ . Model yang ada ini sudah tua dan kita perlu menjalankan cek langsung pada data umpan untuk kesalahan estimasi. Model lama yang menghasilkan data-feed (yang menyediakan kemungkinan $n$ peristiwa yang terjadi dalam waktu- t yang tersisa $t$) adalah sekitar Poisson Distributed.

Jadi untuk memeriksa anomali / kesalahan, kita membiarkan $t$ menjadi waktu yang tersisa dan $X_t$ menjadi jumlah total kejadian yang terjadi di sisa waktu $t$ . Model lama menyiratkan estimasi $\P(X_t \leq c)$ . Jadi dengan asumsi kami $X_t\sim \operatorname{Poisson}(\lambda_{t})$ kita memiliki:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Untuk menurunkan laju acara kami $\lambda_t$ dari output model lama (pengamatan $y_{t}$ ), kami menggunakan pendekatan ruang keadaan dan memodelkan hubungan keadaan sebagai: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Kami memfilter pengamatan dari model lama, menggunakan model keadaan ruang [pembusukan kecepatan konstan] untuk evolusi $\lambda_t$ untuk mendapatkan keadaan yang disaring $E(\lambda_t|Y_t)$ dan menandai anomali / kesalahan dalam perkiraan frekuensi kejadian dari data umpan jika $E(\lambda_t|Y_t) < y_t$ .

Pendekatan ini bekerja dengan sangat baik dalam mengambil kesalahan dalam estimasi peristiwa yang dihitung selama periode waktu penuh $T$ , tetapi tidak begitu baik jika kita ingin melakukan hal yang sama untuk periode lain $0 \leq t < \sigma$ where $\sigma < \frac{2}{3} T$ . Untuk mengatasi ini, kami telah memutuskan sekarang kami ingin beralih untuk menggunakan distribusi Binomial Negatif sehingga kami menganggap sekarang $X_t\sim NB(r, p)$ dan kami memiliki:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ mana parameter $\lambda$ sekarang diganti oleh $r$ dan $p$. Ini harus langsung diimplementasikan, tetapi saya mengalami beberapa kesulitan dengan interpretasi dan karenanya saya memiliki beberapa pertanyaan yang saya ingin Anda bantu:

1. Bisakah kita mengatur $p = \lambda$ dalam distribusi binomial negatif? Jika tidak, mengapa tidak?

2. Dengan anggapan kita dapat mengatur $p = f(\lambda)$ mana $f$ adalah beberapa fungsi, bagaimana kita dapat dengan benar mengatur $r$ (apakah kita perlu mencocokkan $r$ menggunakan set data terakhir)?

3. Apakah $r$ tergantung pada jumlah peristiwa yang kita harapkan terjadi selama proses tertentu?

---

Tambahan untuk mengekstraksi perkiraan untuk $r$ (dan $p$ ):

Saya menyadari bahwa jika kita sebenarnya memiliki masalah ini terbalik, dan kami memiliki jumlah acara untuk setiap proses, kami dapat mengadopsi penduga kemungkinan maksimum untuk dan . Tentu saja penaksir kemungkinan maksimum hanya ada untuk sampel yang varians sampelnya lebih besar dari rata-rata sampel, tetapi jika hal ini terjadi, kami dapat mengatur fungsi kemungkinan untuk pengamatan independen yang terdistribusi secara identik as: dari mana kita dapat menulis fungsi kemungkinan log sebagai: p N k 1 , k 2 , … , k N L ( r , p ) = = 1 ln ( k i ! ) $r$$p$$N$$k_1, k_2, \ldots, k_{N}$l(r,p)= N ∑ i=1ln(Γ(ki+r))- N ∑

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Untuk menemukan maksimum, kami mengambil turunan parsial sehubungan dengan dan dan menetapkannya sama dengan nol: Pengaturan dan pengaturan kami menemukan: $r$$p$ $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$r $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Persamaan ini tidak dapat diselesaikan untuk r dalam bentuk tertutup menggunakan Newton atau bahkan EM. Namun, ini tidak terjadi dalam situasi ini. Meskipun kita bisa menggunakan data masa lalu untuk mendapatkan dan statis, ini tidak benar-benar digunakan untuk proses kita, kita perlu menyesuaikan parameter ini dalam waktu, seperti yang kita lakukan menggunakan Poisson. $r$$p$

Distribusi binomial negatif sangat mirip dengan model probabilitas binomial. itu berlaku ketika asumsi (kondisi) berikut ini berlaku 1) Setiap percobaan dilakukan di bawah kondisi yang sama sampai sejumlah keberhasilan tetap, katakanlah C, tercapai 2) Hasil dari setiap percobaan dapat diklasifikasikan ke dalam salah satu dari dua kategori , berhasil atau gagal 3) Probabilitas P untuk kesuksesan adalah sama untuk setiap percobaan. 40 Setiap eksperimen tidak tergantung dari yang lain. Kondisi pertama adalah satu-satunya faktor pembeda utama antara binomial dan binomial negatif

Distribusi poisson dapat menjadi perkiraan yang wajar dari binomial dalam kondisi tertentu seperti 1) Probabilitas keberhasilan untuk setiap percobaan sangat kecil. P -> 0 2) np = m (katakanlah) adalah finete. Aturan yang paling sering digunakan oleh ahli statistik adalah bahwa poisson adalah perkiraan yang baik dari binomial ketika n sama dengan atau lebih besar dari 20 dan p sama atau kurang dari 5 %