Memperkirakan parameter untuk binomial

Pertama-tama saya ingin menjelaskan bahwa saya bukan ahli dalam bidang ini.

Misalkan memiliki dua variabel acak $X$ dan $Y$ yang binomial, masing-masing $X\sim B(n_1,p)$ dan $Y\sim B(n_2,p),$ perhatikan di sini itu $p$ adalah sama. saya tahu itu $Z=X+Y \sim B(n_1+n_2,p).$

Membiarkan $\{x_1,\ldots,x_k\}$ menjadi sampel untuk $X$ dan $\{y_1,\ldots,y_k\}$ menjadi sampel untuk $Y$ , apakah ada metode standar untuk memperkirakan $n=n_1+n_2$ dan $p$ ?

Inilah yang telah kami lakukan:

ambil "sampel baru" untuk $Z$ diberikan oleh $\{x_1+y_1,\ldots, x_k+y_k\}$ ,
menggunakan Likelihood Estimator, kami memperoleh estimasi untuk $n$ dan $p$ ,
dengan informasi Fisher, kami mencoba memahami kesalahannya $n$ dan $p$ .

Metode ini tampaknya berhasil, tetapi kami masih memiliki beberapa keraguan. Membiarkan $S_k$ kelompok permutasi berakhir $k$ elemen. Untuk setiap $\sigma\in S_k$ kita dapat mempertimbangkan "sampel" yang diberikan oleh $\{x_1+y_{\sigma(1)},\dots, x_k+y_{\sigma(k)}\}.$ Menerapkan Pengukur Kemungkinan untuk masing-masing "sampel baru" (ada $k!$ jumlah yang berbeda) kami memperoleh estimasi yang berbeda $(n_\sigma,p_\sigma)$ untuk $n$ dan $p$ .

Apa artinya ini? Bagaimana nilai-nilai baru $n_\sigma, p_\sigma$ berkorelasi? Ini dapat digunakan untuk menghitung kesalahan untuk $n$ ?

Beberapa Komentar: Pertanyaan sebelumnya diposting di sini , tetapi seorang pengguna menyarankan saya untuk menggunakan tats / SE yang divalidasi ulang.

Dalam contoh yang saya pikirkan $n$ adalah jumlah burung di suatu daerah dan $p$ probabilitas visibilitas. Saya perlu menggabungkan daerah dengan yang serupa $p$ , jika tidak, datanya terlalu kecil. Khususnya saya perlu, jika mungkin, estimasi hanya untuk $n$ dimana $p$ apriori tidak diketahui

Contoh Agar jelas dan mengingat jawaban kjetil b halvorsen, saya akan mencoba memberikan contoh praktis di sini. Misalkan kita hanya memiliki satu wilayah yang dibagi dalam dua zona dengan probabilitas yang sama dengan yang tetap $p$ dan data kami adalah sebagai berikut:

Zone 1   Zone 2
  a1      b1
  a2      b2
  a3      b3
  a4      b4
  a5      b5
  a6      b6

Kami kemudian dapat mempertimbangkan ini:

Zone 1+2
c1=a1+b1
c2=a2+b2
c3=a3+b3
   c4
   c5
   c6

Kemudian kita bisa menggunakan metode kemungkinan log untuk memperkirakan $N_1+N_2$ dan juga $p$ dimana $N_i$ adalah parameter untuk binomial dari variabel yang diamati di Zone $i$ . Apakah tepat?

Sekarang, saya tahu bahwa metode kemungkinan tidak stabil (bagi saya stabil hanya berarti baik). Bisakah kita menggunakan informasi Fisher? Jika ya, informasi seperti apa yang bisa kita miliki?

Akhirnya biarlah $\sigma$ dan $\tau$ dua permutasi berakhir $6$ elemen (ada $(6!)^2$ pasangan berbeda) dari yang dapat kita pertimbangkan data baru yang diberikan oleh

Zona 1 + 2
c1 = a $\sigma(1)$ + b $\tau(1)$
c2 = a $\sigma(2)$ + b $\tau(2)$
c3 = a $\sigma(3)$ + b $\tau(3)$
c4 = a $\sigma(4)$ + b $\tau(4)$
c5 = a $\sigma(5)$ + b $\tau(5)$
c6 = a $\sigma(6)$ + b $\tau(6)$

Mengulangi metode kemungkinan, dengan variabel baru ini, kami memperoleh estimasi berbeda untuk $N_1+N_2$ .

Jadi pertanyaannya adalah: apakah set estimasi memberi saya beberapa informasi tentang kesalahan?

— amorvincomni
sumber

Anda harus memberikan lebih banyak detail. Berapa banyak wilayah yang ingin Anda gunakan (anggap memiliki parameter visibilitas yang sama

p

$p$ ? (Q mengasumsikan dua))? Berapa banyak sampel yang Anda miliki untuk setiap wilayah? (Saya berasumsi itu adalah hitungan selama interval waktu terpisah dengan panjang yang sama?) Karena parameter minat Anda

n_{1}

$n_1$ dan

n_{2}

$n_2$ pendekatan penjumlahan mereka tidak bisa benar! akan kembali ketika Anda menjawab ...

— kjetil b halvorsen

@kjetilbhalvorsen: Jumlah wilayah di Q saya adalah

2

$2$ dan saya punya 6 sampel untuk setiap daerah. Hitungan melebihi interval dengan panjang yang sama (tetapi

n_{i}

$n_i$ diasumsikan konstan). saya tertarik dengan

n_{1} + n_{2}

$n_1+n_2$ dan tidak di tunggal

n_{i}

$n_i$ . Saya harap ini bisa membantu.

— amorvincomni

Pertanyaan lain: Berapa besar (kurang-lebih) hitungannya? Dalam puluhan? ratusan? ribuan? Apakah Anda tahu tentang nilai kemungkinan dari

p

$p$ ? Sangat rendah? (Jika jumlah lebih besar, maka mungkin kita dapat mencoba pendekatan poisson?

— kjetil b halvorsen

Saya mencoba untuk menjumlahkan penghitungan karena angkanya rendah. Pada kenyataannya saya memiliki 5 zona berbeda (zona sesuai dengan daerah dengan probabilitas yang sama.) Di setiap zona saya memiliki sesuatu seperti

15

$15$ daerah. Berbagai jumlah bervariasi dari

0

$0$ untuk

25

$25$ (itu

n_{i}

$n_i$ tampaknya tidak terkait dan dapat bervariasi dari

0

$0$ untuk sesuatu yang lebih dari

25

$25$ ). Tetapi data agregat dapat bervariasi dari permutasi yang kita pilih. (Misalnya di zona

10

$10$ daerah dengan

6

$6$ Hitungan untuk setiap wilayah ada

(6!)^{10}

$(6!)^{10}$ agregasi yang berbeda). Akhirnya

p

$p$ tampaknya dekat dengan

.7

$.7$ .

— amorvincomni

Anda juga mungkin akan mendapat banyak manfaat dari memiliki prior informatif, karena ada masalah identifikasi antara n dan p.

— Arthur B.

Saya akan mencoba jawaban, bahkan jika saya tidak sepenuhnya jelas tentang situasinya. Formula harus disesuaikan! Masalah estimasi $N$ dalam distribusi binomial sudah tua, dan ada beberapa makalah yang relevan. Saya akan memberikan beberapa referensi di bagian akhir.

Biarkanlah terjadi begitu $R$ daerah (dalam contoh OP $R=2$ ), dengan $T$ sampel (dari interval waktu terpisah panjang yang sama) dari masing-masing daerah. Variabel yang diamati adalah $x_{it}$ yang merupakan variabel acak binomial independen, masing-masing dengan distribusi $\text{Bin}(N_i,p)$ keduanya tidak diketahui. Fungsi log-likelihood menjadi

ℓ (N_{i}, p) = \sum \ln (\binom{N_{i}}{x_{i t}}) + \ln p \cdot \sum x_{i t} + \ln (1 - p) \cdot \sum (N_{i} - x_{i t})

$\ell ( N_i , p ) = \sum \ln \binom{N_i}{x_{it}} + \ln p \cdot \sum x_{it} + \ln (1-p) \cdot \sum ( N_i - x_{it} )$ Perhatikan bahwa, dalam masalah yang biasa ketika

N_{i}

$N_i$ hanya dikenal begitu saja

p

$p$ tidak diketahui, maka jumlah (atau rata-rata) dari jumlah binomial

x_{i t}

$x_{it}$ adalah ringkasan yang memadai, sehingga analisis dapat dilakukan dalam hal distribusi binomial dari jumlah tersebut. Namun, dalam masalah kami, karena istilah pertama dalam fungsi log-likelihood, tidak demikian halnya, dan kemungkinan log tergantung pada masing-masing penghitungan secara individual! Jadi apa yang Anda usulkan, untuk mengurangi jumlah hitungan (lebih

i

$i$ ), TIDAK HARUS DILAKUKAN, karena itu akan kehilangan informasi (berapa banyak, saya tidak tahu, tetapi itu bisa diselidiki ...). Mari kita mencoba memahami ini sedikit lebih baik. Pertama, kita lihat di bawah itu

max_{t} (x_{i t})

$\max_t(x_{it})$ adalah penaksir konsisten , tetapi penaksir konsisten ini bukan fungsi dari jumlah yang dijumlahkan. Itu adalah satu indikasi yang jelas bahwa penjumlahan kehilangan informasi! Perhatikan juga bahwa mean adalah penaksir yang tidak bias dari ekspektasinya yaitu , tetapi tampaknya tidak menyimpan informasi tentang dan individual, ketika tidak ada yang diketahui tentang parameter lainnya. Itu menunjukkan bahwa jika ada informasi berguna tentang di fungsi kemungkinan, itu harus terkandung dalam penyebaran nilai

N_{i}

$N_i$

N_{i} p

$N_i p$

N_{i}

$N_i$

p

$p$

N_{i}

$N_i$

x_{i 1} \dots, x_{i T}

$x_{i1}\dots, x_{iT}$ , sekali lagi menunjukkan bahwa penjumlahan itu buruk. Makalah Olkin et al yang dirujuk di bawah ini menunjukkan memang bahwa penaksir metode-momen dalam banyak kasus lebih baik daripada kemungkinan maksimum! dan yang menggunakan varian empiris dari , jadi tidak dapat dihitung dari data yang dijumlahkan.

x_{i 1} \dots, x_{i T}

$x_{i1}\dots, x_{iT}$

Masalah ini diketahui tidak stabil. Mari kita coba mengerti alasannya. Dalam masalah yang biasa, memperkirakan ketika diketahui, estimasi dapat dilakukan dari beberapa karakteristik kotor data, rerata. Saat mencoba memperkirakan dan , kami menggunakan properti yang jauh lebih bagus dari fungsi log-likelihood (dari data). Untuk melihat alasannya, ingatlah bahwa kita dapat memperoleh distribusi Poisson sebagai batas binomial ketika pergi ke nol dan tumbuh tanpa batas, dengan produk positif yang konstan. Jadi, jika kecil dan $p$ $N_i$ $N_i$ $p$ $p$ $N$ $p$ $N$ besar, distribusi binomial akan cukup dekat dengan batas itu. Ambil dua kasus: (A) , (B) . Gambar histogram untuk dua distribusi (binomial): $N=100, p=0.01$ $N=20, p=0.05$

> zapsmall(cbind(0:20,pA,pB))
               pA       pB
 [1,]  0 0.366032 0.358486
 [2,]  1 0.369730 0.377354
 [3,]  2 0.184865 0.188677
 [4,]  3 0.060999 0.059582
 [5,]  4 0.014942 0.013328
 [6,]  5 0.002898 0.002245
 [7,]  6 0.000463 0.000295
 [8,]  7 0.000063 0.000031
 [9,]  8 0.000007 0.000003
[10,]  9 0.000001 0.000000
[11,] 10 0.000000 0.000000
[12,] 11 0.000000 0.000000
[13,] 12 0.000000 0.000000
[14,] 13 0.000000 0.000000
[15,] 14 0.000000 0.000000
[16,] 15 0.000000 0.000000
[17,] 16 0.000000 0.000000
[18,] 17 0.000000 0.000000
[19,] 18 0.000000 0.000000
[20,] 19 0.000000 0.000000
[21,] 20 0.000000 0.000000

Di atas tabel probabilitas ini. Untuk mendeteksi dari data yang diamati yang mana dari dua distribusi yang dimiliki, adalah yang diperlukan untuk memutuskan, dalam hal ini, jika atau jika . Ini jelas sangat sulit, dan ketidakstabilan penduga yang dihasilkan hanya bisa diharapkan. Contoh ini juga menunjukkan bahwa ketidakstabilan terutama untuk kecil . Anda mengatakan Anda mengharapkan sekitar 0,7, jadi masalahnya mungkin lebih stabil. Anda bisa menyelidiki itu untuk data Anda dengan menemukan estimator kemungkinan maksimum sebagai fungsi dari diketahui , dan merencanakannya untuk $N=100$ $N=20$ $p$ $p$ $p$ $p$ dalam beberapa interval kepercayaan. Atau Anda bisa menjadi bayes penuh, ini adalah kasus di mana bahkan beberapa informasi sebelumnya yang agak kabur dapat membantu.

Parameternya memang dapat diperkirakan. Jelas bahwa , sehingga memungkinkan untuk menggunakan count maksimal sebagai estimator dari . Penduga itu akan sangat konsisten, dan parameter dengan penduga yang konsisten harus dapat diperkirakan. Tetapi, seperti yang ditunjukkan contoh di atas, perkiraan tersebut hampir merupakan formalitas; dalam praktiknya distribusi dengan sangat berbeda sangat dekat, sehingga sangat lemah diperkirakan. $N_i \ge \max_t(x_{it})$ $N$ $N$ $N$

Saya tidak akan memberikan detail metode estimasi di sini, tetapi memberikan beberapa referensi yang dapat Anda periksa:

Ingram Olkin, A John Petkau, James V Zidek: Perbandingan N estimator untuk Distribusi Binomial. JASA 1981. Ini adalah makalah klasik yang mengembangkan dan menganalisis estimasi ML dan momen, dan beberapa varian yang lebih stabil. Hal ini juga menunjukkan, yang menarik, bahwa dalam banyak kasus, estimator metode momen lebih baik daripada estimator ML!

Raymond J Carrol dan F Lombard: Catatan tentang N estimator untuk distribusi binomial. JASA 1985.
Mengembangkan penaksir alternatif, lebih stabil & mungkin lebih baik, berdasarkan pada mengintegrasikan dari kemungkinan. Juga mencatat kurangnya kecukupan jumlah yang dijumlahkan. $p$

J Andrew Royle: N_Mixture Model untuk Memperkirakan Ukuran Populasi dari Jumlah yang Direplikasi secara Spasial. Biometrics, 2004. Ini memberikan alternatif lain, pendekatan Bayesian yang dapat Anda coba.

Kembali ke pertanyaan konkret Anda. Anda TIDAK HARUS menjumlahkan penghitungan di dua wilayah Anda! Itu akan kehilangan informasi. Jika Anda memperkenalkan maka fungsi log-likelihood dapat ditulis sebagai fungsi , dan (atau ). Maka parameter tambahan harus dihilangkan dengan beberapa prosedur. Saya akan kembali ke sana, tetapi tidak ada waktu! $N=N_1 + N_2$ $N$ $p$ $N_1$ $N_2$ $N_1$

— kjetil b halvorsen
sumber

Terima kasih atas jawaban Anda, sayangnya saya tidak bisa menjawab. Saya minta maaf jika saya tidak jelas, tetapi untuk jumlah yang saya maksudkan jumlahnya di berbagai zona. Saya melakukan peningkatan dalam Q saya, menambahkan contoh (teoritis) dan beberapa pertanyaan yang mungkin lebih dimengerti.

— amorvincomni

Meskipun jawaban ini sepenuhnya terperinci, saya masih punya satu keraguan: misalkan saya memiliki satu kamera untuk setiap wilayah, dan anggaplah bahwa kamera berada di daerah tetangga (tetapi tanpa aliran). Saya hanya tertarik pada dan bukan pada nilai tunggal dan . Apakah ada perbedaan dengan hanya mengambil satu kamera besar? Variabel yang diamati dari kamera besar masih binomial dengan parameterApa yang saya kehilangan (menurut saya), hanya informasi tentang perilaku lokal, tetapi ini tidak penting bagi saya.

N

$N$

N_{1}

$N_1$

N_{2}

$N_2$

y_{t 1} = x_{t 1} + x_{t 2}

$y_{t1}=x_{t1}+x_{t2}$

N, p .

$N,p.$

— amorvincomni

Itu tidak benar! Informasi tentang terkandung dalam variasi dalam jumlah individu!

N

$N$

— kjetil b halvorsen