Bagaimana Anda menyesuaikan distribusi Poisson ke data tabel?

Saya telah diberi tabel dan , yang sedemikian rupa sehingga jumlah memberi tahu jumlah anak yang semua orang . $x=(0,1,2,3,4,5,6)$ $y=(3062,587,284,103,33,4,2)$ $x_i$ $y_i$

Saya diminta untuk menyesuaikan distribusi Poisson untuk ini.

Apa artinya cocok dengan distribusi Poisson untuk ini?

Di sini, p.8: http://www.stats.ox.ac.uk/ ~ marchini/teaching/L5/L5.notes.pdf

dikatakan bahwa pemasangan Poisson melibatkan penghitungan $P(X=x)$ untuk setiap $x$ . Tapi di mana melakukan $y$ s go? Apakah pantas menghitung $P(X=x)$ s?

— mavavilj
sumber

Anda diminta untuk mencocokkan model regresi Poisson dengan data ini. Ini akan membantu: onlinecourses.science.psu.edu/stat504/node/168 . Selain itu, harap tambahkan tag belajar mandiri ke pertanyaan pekerjaan rumah ini.

— StatsStudent

Dengan "menyesuaikan distribusi dengan data" kami berarti bahwa beberapa distribusi (yaitu fungsi matematika) digunakan sebagai model , yang dapat digunakan untuk memperkirakan distribusi empiris dari data yang Anda miliki. Jika Anda menyesuaikan distribusi ke data, Anda perlu menyimpulkan parameter distribusi dari data. Anda dapat melakukan ini dengan menggunakan beberapa perangkat lunak yang akan melakukan ini untuk Anda secara otomatis (misalnya fitdistrplusdalam R), atau dengan menghitungnya dengan tangan dari data Anda, misalnya menggunakan kemungkinan maksimum (lihat entri yang relevan di Wikipedia tentang distribusi Poisson ).

Pada plot di bawah ini Anda dapat melihat data Anda diplot dengan distribusi Poisson yang sesuai. Seperti yang Anda lihat, garis tidak cocok dengan sempurna, karena itu hanya perkiraan.

Di antara metode lain, salah satu pendekatan untuk masalah ini adalah menggunakan kemungkinan maksimum . Ingat bahwa kemungkinan adalah fungsi parameter untuk data tetap dan dengan memaksimalkan fungsi ini kita dapat menemukan parameter "kemungkinan besar" mengingat data yang kita miliki, yaitu

L (λ | x_{1}, \dots, x_{n}) = \prod_{i} f (x_{i} | λ)

$L(\lambda|x_1,\dots,x_n) = \prod_i f(x_i|\lambda)$

di mana dalam kasus Anda adalah fungsi massa probabilitas Poisson. Cara langsung dan numerik untuk menemukan sesuai adalah dengan menggunakan algoritma pengoptimalan. Untuk ini, pertama-tama Anda menentukan fungsi kemungkinan dan kemudian meminta algoritma untuk menemukan titik di mana fungsi mencapai maksimum: $f$ $\lambda$

# negative log-likelihood (since this algorithm looks for minimum)
llik <- function(lambda) -sum(dpois(x, lambda, log = TRUE)*y)
opt.fit <- optimize(llik, c(0, 10))$minimum

Anda dapat melihat sesuatu yang aneh tentang kode ini: Saya kalikan dpois()dengan y. Data yang Anda miliki diberikan dalam bentuk tabel, di mana untuk setiap nilai kami memiliki jumlah menyertainya , sementara fungsi kemungkinan didefinisikan dalam hal data mentah, bukan tabel tersebut. Anda dapat membuat kembali data mentah dari nilai ini dengan mengulangi setiap waktu tepat (yaitu dalam R) dan menggunakan ini sebagai input ke perangkat lunak statistik Anda, tetapi Anda dapat mengambil pendekatan yang lebih pintar. Kemungkinan adalah produk dari . Mengalikan untuk identik persis dengan kali sama dengan mengambil $x_i$ $y_i$ $x_i$ $y_i$ rep(x, y) $f(x_i|\lambda)$ $f(x_i|\lambda)$ $x_i$ $y_i$ $y_i$ : . Di sini kita memaksimalkan log-likelihood (lihat di sini mengapa kita mengambil log ), jadi menjadi: . Itulah bagaimana kami memperoleh fungsi kemungkinan untuk data tabular. $f(x_i|\lambda)^{y_i}$ $\prod_i f(x_i|\lambda)^{y_i}$ $\sum_i \log f(x_i|\lambda) \times y_i$

Namun, ada cara yang lebih sederhana untuk dilakukan. Kita tahu bahwa rata-rata empiris adalah penaksir kemungkinan maksimum dari (yaitu, ia memungkinkan kita untuk memperkirakan nilai yang memaksimalkan kemungkinan), jadi daripada menggunakan perangkat lunak pengoptimalan, kita dapat menghitung rata-rata. Karena Anda memiliki data dalam bentuk tabel dengan jumlah, cara paling langsung untuk pergi adalah dengan menggunakan rata-rata tertimbang rata - rata di mana digunakan sebagai bobot. $x$ $\lambda$ $\lambda$ $x_i$ $y_i$

mx <- sum(x*(y/sum(y)))

Ini mengarah ke hasil yang identik seolah-olah Anda menghitung rata-rata aritmatika dari data mentah. Keduanya memaksimalkan kemungkinan menggunakan algoritme pengoptimalan, dan mengambil arahan rata-rata untuk hasil yang hampir persis sama:

> mx
[1] 0.3995092
> opt.fit
[1] 0.3995127

Jadi 's tidak disebutkan di mana saja dalam catatan Anda karena mereka diciptakan secara artifisial sebagai cara menyimpan data ini dalam bentuk agregat (sebagai meja), daripada daftar semua baku ' s. Seperti yang ditunjukkan di atas, Anda dapat memanfaatkan memiliki data dalam format ini. $y$ $4075$ $x$

Prosedur di atas memungkinkan Anda untuk menemukan "fitting terbaik" dan ini adalah bagaimana Anda menyesuaikan distribusi dengan data - dengan menemukan parameter distribusi seperti itu, yang membuatnya sesuai dengan data empiris. $\lambda$

Anda berkomentar bahwa masih belum jelas bagi Anda mengapa dianggap sebagai bobot. Mean aritmatika dapat dianggap sebagai kasus khusus dari rata-rata tertimbang di mana semua bobotnya sama dan sama dengan : $y_i$ $1/N$

\frac{x_{1} + \dots + x_{n}}{N} = \frac{1}{N} (x_{1} + \dots + x_{n}) = \frac{1}{N} x_{1} + \dots + \frac{1}{N} x_{n}

$\frac{x_1 + \dots + x_n}{N} = \frac{1}{N} \left( x_1 + \dots + x_n \right) = \frac{1}{N}x_1 + \dots + \frac{1}{N}x_n$

Sekarang pikirkan bagaimana data Anda disimpan. dan berarti Anda memiliki empat balita , dan berarti dll. Ketika Anda menghitung rata-rata , pertama-tama Anda harus menjumlahkannya, jadi: . Hal ini menyebabkan penggunaan hitungan sebagai bobot untuk rata-rata tertimbang memberikan persis sama dengan rata-rata aritmatika dengan data mentah $x_6 = 5$ $y_6 = 4$ $x_6 = \{5,5,5,5\}$ $x_7 = 6$ $y_7 = 2$ $x_7 = \{6,6\}$ $5+5+5+5 = 5 \times 4 = x_6 \times y_6$

\frac{x_{1} y_{1} + \dots + x_{n} y_{n}}{y_{1} + \dots + y_{n}} = \frac{x_{1} y_{1}}{N} + \dots + \frac{x_{n} y_{n}}{N} = \overset{y_{1} times}{\overset{⏞}{\frac{x_{1}}{N} + \dots + \frac{x_{1}}{N}}} + \dots + \overset{y_{n} times}{\overset{⏞}{\frac{x_{n}}{N} + \dots + \frac{x_{n}}{N}}}

$\frac{x_1 y_1 + \dots + x_n y_n}{y_1 + \dots + y_n} = \\ \frac{x_1 y_1}{N} + \dots + \frac{x_n y_n}{N} = \\ \overbrace{ \frac{x_1}{N} + \dots + \frac{x_1}{N} }^{y_1 ~ \text{times}} + \dots + \overbrace{ \frac{x_n}{N} + \dots + \frac{x_n}{N} }^{y_n ~ \text{times}}$

di mana . Ide yang sama diterapkan pada fungsi kemungkinan yang dibobot oleh hitungan. Apa yang bisa menyesatkan di sini adalah bahwa dalam beberapa kasus kami menggunakan untuk menunjukkan nilai diamati- , sedangkan dalam kasus Anda adalah nilai spesifik yang diamati kali. Seperti yang dikatakan sebelumnya, ini hanyalah cara alternatif untuk menyimpan data yang sama. $N = \sum_i y_i$ $x_i$ $i$ $X$ $x_i$ $X$ $y_i$

— Tim
sumber

Tapi bagaimana cara menghitungnya? Saya tidak mengerti hubungan antara Poisson, x dan y. Saya kira adalah apa yang dihubungkan ke PMF Poisson sebagai , tetapi bagaimana PMF Poisson terkait dengan s?

x

$x$

k

$k$

y

$y$

— mavavilj

Jadi apakah pas dengan model berarti menghitung (empiris) untuk setiap ?

P (X = x_{i})

$P(X=x_i)$

x_{i}

$x_i$

— mavavilj

@mavavilj tidak, itu berarti menemukan nilai parameter distribusi seperti itu (dalam hal ini ) yang membuat fungsi distribusi paling sesuai dengan distribusi empiris (lihat paragraf pertama). Paragraf terakhir adalah tentang bagaimana data Anda disimpan. Jika ada sesuatu yang masih belum jelas, silakan komentar.

λ

$\lambda$

— Tim

Apa masuk akal menyimpulkan sebagai bobot untuk rata-rata tertimbang (untuk mendapatkan MLE)?

y

$y$

— mavavilj

Saya masih sedikit tidak jelas tentang alasan yang mengarah ke menghitung rata-rata tertimbang. Mengapa dianggap sebagai bobot?

y

$y$

— mavavilj

Saya kira jawabannya adalah menemukan rata-rata data, yang akan menjadi lambda dari proses Poisson. Mengingat data datang dalam tabel frekuensi, cari nilai yang diharapkan / rata-rata tertimbang, yang seperti dijelaskan di atas, sama dengan rata-rata aritmatika dari data mentah.

— Aravot
sumber