Memperkirakan probabilitas dalam proses Bernoulli dengan mengambil sampel hingga 10 kegagalan: apakah bias?

Misalkan kita memiliki proses Bernoulli dengan probabilitas kegagalan $q$ (yang akan menjadi kecil, katakanlah, $q \leq 0.01$ ) dari mana kita sampel sampai kita menemukan $10$ kegagalan. Kami dengan demikian memperkirakan probabilitas kegagalan sebagai q : = 10 / N di mana N adalah jumlah sampel.$\hat{q}:=10/N$$N$

Pertanyaan : Apakah q sebuah estimasi bias dari q ? Dan, jika demikian, apakah ada cara untuk memperbaikinya?$\hat{q}$$q$

Saya khawatir bahwa bersikeras sampel terakhir adalah bias yang gagal estimasi.

Memang benar bahwa q adalah estimasi bias q dalam arti bahwa E ( q )$\hat{q}$$q$ , tetapi Anda tidak harus selalu biarkan ini menghalangi Anda. Skenario yang tepat ini dapat digunakan sebagai kritik terhadap gagasan bahwa kita harus selalu menggunakan penduga yang tidak bias, karena di sini bias lebih merupakan artefak dari eksperimen tertentu yang sedang kita lakukan. Data terlihat persis seperti ketika kita telah memilih jumlah sampel di muka, jadi mengapa kesimpulan kita harus berubah?$\text{E}(\hat{q}) \neq q$

Menariknya, jika Anda mengumpulkan data dengan cara ini dan kemudian menuliskan fungsi kemungkinan di bawah model binomial (ukuran sampel tetap) dan negatif, Anda akan menemukan bahwa keduanya proporsional satu sama lain. Ini berarti bahwa q hanya biasa estimasi maksimum likelihood di bawah model binomial negatif, yang tentu saja adalah perkiraan yang masuk akal.$\hat{q}$

Itu tidak bersikeras bahwa sampel terakhir adalah kegagalan yang bias estimasi, itu mengambil kebalikan dari $N$

Jadi dalam contoh Anda tetapi E[$\mathbb{E}\left[\frac{N}{10}\right] =\frac{1}{q}$. Ini dekat dengan membandingkan rata-rata aritmatika dengan rata-rata harmonik$\mathbb{E}\left[\frac{10}{N}\right] \not = q$

Kabar buruknya adalah bahwa bias dapat meningkat karena semakin kecil, meskipun tidak banyak sekali q sudah kecil. Berita baiknya adalah bias menurun seiring dengan meningkatnya jumlah kegagalan. Tampaknya jika Anda memerlukan f kegagalan, maka bias dibatasi di atas oleh faktor multiplikasi $q$$q$$f$ untukqkecil$\frac{f}{f-1}$$q$ ; Anda tidak ingin pendekatan ini ketika Anda berhenti setelah kegagalan pertama

Berhenti setelah kegagalan, dengan q = 0,01 Anda akan mendapatkan E [ $10$$q=0.01$tetapi E[$\mathbb{E}\left[\frac{N}{10}\right] = 100$, sedangkan denganq=0,001Anda akan mendapatkanE[$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.011097$$q=0.001$tetapi E[$\mathbb{E}\left[\frac{N}{10}\right] = 1000$. Bias sekitar$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.001111$ faktor multiplikasi $\frac{10}{9}$

$\hat{q}$$k=10$$q_0 = 0.02$

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

$\mathbb{E}\left[ \hat{q}\right] \approx 0.022$$\hat{q}$