Apa perbedaan distribusi Poisson dengan distribusi normal?

Saya telah menghasilkan vektor yang memiliki distribusi Poisson, sebagai berikut:

x = rpois(1000,10)

Jika saya membuat histogram menggunakan hist(x), distribusi terlihat seperti distribusi normal berbentuk lonceng yang sudah dikenal. Namun, tes Kolmogorov-Smirnoff menggunakan ks.test(x, 'pnorm',10,3)mengatakan distribusi secara signifikan berbeda dengan distribusi normal, karena pnilai yang sangat kecil .

Jadi pertanyaan saya adalah: bagaimana distribusi Poisson berbeda dari distribusi normal, ketika histogram terlihat sangat mirip dengan distribusi normal?

— luciano
sumber

Juga (sebagai tambahan untuk jawaban David): baca ini ( stats.stackexchange.com/a/2498/603 ) dan atur ukuran sampel Anda menjadi 100 dan lihat perbedaannya.

— user603

Jawaban:

Distribusi Poisson adalah diskrit sedangkan distribusi normal kontinu, dan variabel acak Poisson selalu> = 0. Dengan demikian, uji Kolgomorov-Smirnov akan sering dapat membedakannya.
Ketika rata-rata distribusi Poisson besar, itu menjadi mirip dengan distribusi normal. Namun, rpois(1000, 10)bahkan tidak terlihat yang mirip dengan distribusi normal (berhenti pendek pada 0 dan ekor yang tepat terlalu panjang).
Mengapa Anda membandingkannya dengan ks.test(..., 'pnorm', 10, 3)bukan ks.test(..., 'pnorm', 10, sqrt(10))? Perbedaan antara 3 dan kecil tetapi akan dengan sendirinya membuat perbedaan ketika membandingkan distribusi. Bahkan jika distribusinya benar-benar normal, Anda akan berakhir dengan distribusi nilai-p anti-konservatif: $\sqrt{10}$
```
set.seed(1)

hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
```

masukkan deskripsi gambar di sini

— David Robinson
sumber

Seringkali orang akan melihat sesuatu yang samar-samar simetris dan menganggapnya "normal." Saya curiga apa yang dilihat @Ross.

— Fraijo

Perhatikan bahwa uji KS umumnya mengasumsikan distribusi kontinu, jadi mengandalkan nilai p yang dilaporkan dalam kasus ini mungkin (juga) agak mencurigakan.

— kardinal

Benar: berlari hist(replicate(1000, ks.test(rpois(1000, 10), rpois(1000, 10))$p.value))menunjukkan bahwa tes yang membandingkan dua distribusi Poisson yang identik akan terlalu konservatif.

— David Robinson

@Fraijo: memang. Kami memiliki pertanyaan yang lebih umum tentang tema ini: Jika histogram saya menunjukkan kurva berbentuk lonceng, dapatkah saya mengatakan bahwa data saya terdistribusi secara normal?

— Silverfish

Berikut ini cara yang lebih mudah untuk memahaminya:

Anda dapat melihat distribusi Binomial sebagai "ibu" dari sebagian besar distribusi. Distribusi normal hanyalah perkiraan distribusi Binomial ketika n menjadi cukup besar. Faktanya, Abraham de Moivre pada dasarnya menemukan distribusi normal ketika mencoba memperkirakan distribusi Binomial karena dengan cepat keluar dari tangan untuk menghitung distribusi Binomial ketika n tumbuh terutama ketika Anda tidak memiliki komputer ( referensi ).

Distribusi poisson juga hanya perkiraan lain dari distribusi Binomial tetapi ia memegang jauh lebih baik daripada distribusi normal ketika n besar dan p kecil, atau lebih tepatnya ketika rata-rata hampir sama dengan varians (ingat bahwa untuk distribusi Binomial, rata-rata = np dan var = np (1-p)) ( referensi ). Mengapa situasi khusus ini begitu penting? Tampaknya itu banyak muncul di dunia nyata dan itulah mengapa kita memiliki pendekatan "khusus" ini. Contoh di bawah ini menggambarkan skenario di mana pendekatan Poisson bekerja sangat hebat.

Contoh

Kami memiliki pusat data 100.000 komputer. Probabilitas komputer mana pun yang gagal saat ini adalah 0,001. Jadi rata-rata np = 100 komputer gagal di pusat data. Berapa probabilitas bahwa hanya 50 komputer akan gagal hari ini?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

Faktanya, kualitas perkiraan untuk distribusi normal turun saat kita berada di ujung distribusi tetapi Poisson terus bertahan dengan sangat baik. Dalam contoh di atas, mari kita pertimbangkan berapa probabilitas bahwa hanya 5 komputer akan gagal hari ini?

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

Semoga ini memberi Anda pemahaman intuitif yang lebih baik dari 3 distribusi ini.

— Shital Shah
sumber

Sungguh jawaban yang luar biasa dan hebat! Terima kasih banyak. :)

— Bora M. Alper

Saya pikir layak menyebutkan bahwa Poisson ( ) pmf adalah pmf pembatas dari Binomial ( , ) dengan . $\lambda$ $n$ $p_n$ $p_n = \lambda / n$

Satu perkembangan yang agak panjang dapat ditemukan di blog ini .

Tapi, kita bisa membuktikannya secara ekonomis di sini. Jika maka untuk fix $X_n \sim \mathrm{Binomial}(n,\lambda/n)$ $k$

\begin{aligned} P (X_{n} = k) & = \frac{n!}{k! (n - k)!} {(\frac{λ}{n})}^{k} {(1 - \frac{λ}{n})}^{n - k} \\ = \underset{\to 1}{\underset{⏟}{\frac{n! n^{- k}}{(n - k)!}}} \frac{λ^{k}}{k!} \underset{\to e^{- λ}}{\underset{⏟}{(1 - λ / n)^{n}}} \cdot \underset{\to 1}{\underset{⏟}{(1 - λ / n)^{- k}}} . \end{aligned}

$\begin{align} \mathbb P(X_n = k) &= \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \underbrace{\frac{n! n^{-k}}{(n-k)!}}_{\to 1} \frac{\lambda^k}{k!}\underbrace{(1-\lambda/n)^n}_{\to e^{-\lambda}} \cdot \underbrace{(1-\lambda/n)^{-k}}_{\to 1} \>. \end{align}$

Istilah pertama dan terakhir mudah terlihat konvergen ke 1 sebagai (mengingat bahwa sudah diperbaiki). Jadi, sebagai since . $n \to \infty$ $k$

P (X_{n} = k) \to \frac{e^{- λ} λ^{k}}{k!},

$\mathbb P(X_n = k) \to \frac{e^{-\lambda} \lambda^k}{k!} \,,$

n \to \infty

$n \to \infty$

(1 - λ / n)^{n} \to e^{- λ}

$(1-\lambda/n)^n \to e^{-\lambda}$

Selain itu, seseorang memiliki perkiraan normal terhadap Binomial, yaitu Binomial ( , ) . Perkiraan meningkat sebagai dan tetap jauh dari 0 dan 1. Jelas untuk rezim Poisson ini tidak terjadi (karena ada ) tetapi semakin besar adalah semakin besar dapat dan masih memiliki perkiraan normal yang wajar. $n$ $p$ $\approxeq^d \mathcal N(np, np(1-p))$ $n \rightarrow \infty$ $p$ $p_n = \lambda / n \rightarrow 0$ $\lambda$ $n$

— muratoa
sumber

(+1) Selamat datang di situs ini. Saya telah membuat beberapa pengeditan; periksa apakah saya belum memasukkan kesalahan dalam proses. Saya tidak yakin apa yang harus saya lakukan dengan kalimat terakhir dalam kalimat terakhir. Beberapa klarifikasi tambahan mungkin bisa membantu.

— kardinal

Saya suka arah ini, meskipun mungkin ada cara untuk mengaitkannya sedikit lebih dekat dengan pertanyaan yang ada dengan membuat hubungan antara tiga distribusi lebih jelas. Misalnya (a) Variabel acak binomial (urutan) bertindak seperti Poisson selama , (b) Binomial (urutan) bertindak seperti normal selama kira-kira konstan konstan dan (c) ) a Poisson (urutan) bertindak seperti normal untuk pada dasarnya karena sifatnya yang tak terbatas.

n p_{n} \approx λ

$n p_n \approx \lambda$

p

$p$

λ

$\lambda$

— kardinal

Komentar yang bagus @kartinal. Tentang kalimat terakhir, untuk fix, besar semakin besar semakin besar (mis. Lebih dekat dengan ) Oleh karena itu semakin baik perkiraan Normal ke Binomial dan pada gilirannya Poisson.

n

$n$

λ

$\lambda$

p_{n}

$p_n$

1 / 2

$1/2$

— muratoa

Terima kasih. Saya mengerti apa yang ingin Anda katakan sekarang. Saya umumnya setuju, dengan peringatan bahwa beberapa perawatan perlu dilakukan dengan hubungan antara parameter, yang dianggap tetap dan yang berbeda dengan yang lainnya. :)

— kardinal

Hai Murat dan selamat datang di situs ini! senang melihatmu di sini dan kuharap kau tetap disini. 1 untuk menjelaskan mengapa histogram poisson tampak sangat mirip dengan normal ketika besar.

λ

$\lambda$

— Makro