Hubungan antara distribusi Binomial dan Beta

27

Saya lebih sebagai programmer daripada ahli statistik, jadi saya harap pertanyaan ini tidak terlalu naif.

Ini terjadi dalam eksekusi program sampling secara acak. Jika saya mengambil N = 10 sampel waktu-acak dari status program, saya bisa melihat fungsi Foo dieksekusi, misalnya, I = 3 dari sampel tersebut. Saya tertarik pada apa yang memberitahu saya tentang fraksi waktu F yang sedang dieksekusi.

Saya mengerti bahwa saya terdistribusi secara binerial dengan rata-rata F * N. Saya juga tahu bahwa, mengingat I dan N, F mengikuti distribusi beta. Sebenarnya saya sudah memverifikasi oleh program hubungan antara dua distribusi itu, yaitu

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Masalahnya adalah saya tidak memiliki perasaan intuitif untuk hubungan tersebut. Saya tidak bisa "membayangkan" mengapa itu bekerja.

EDIT: Semua jawaban itu menantang, terutama @ whuber, yang saya masih perlu grok, tetapi membawa statistik agar sangat membantu. Namun demikian saya sadar saya seharusnya mengajukan pertanyaan yang lebih mendasar: Mengingat saya dan N, apa distribusi untuk F? Semua orang telah menunjukkan bahwa itu Beta, yang saya tahu. Saya akhirnya menemukan dari Wikipedia ( konjugat sebelumnya ) bahwa itu tampaknya Beta(I+1, N-I+1). Setelah menjelajahinya dengan sebuah program, tampaknya itu jawaban yang tepat. Jadi, saya ingin tahu apakah saya salah. Dan, saya masih bingung tentang hubungan antara dua cdf yang ditunjukkan di atas, mengapa mereka berjumlah 1, dan jika mereka ada hubungannya dengan apa yang benar-benar ingin saya ketahui.

binomial beta-binomial beta-distribution

— Mike Dunlavey
sumber

Jika "apa yang sebenarnya ingin Anda ketahui" adalah "fraksi waktu aktual yang digunakan Foo," maka Anda bertanya tentang interval kepercayaan Binomial atau interval kredibel Binomial (Bayesian).

— whuber

@whuber: Yah saya telah menggunakan metode penyetelan kinerja acak selama jeda selama lebih dari 3 dekade, dan beberapa orang lain juga menemukannya. Saya telah memberi tahu orang-orang bahwa jika suatu kondisi benar pada 2 atau lebih sampel waktu-acak, menghapusnya akan menghemat waktu. BAGAIMANA pecahan yang baik adalah apa yang saya coba jelaskan, dengan anggapan kita tidak tahu sebelumnya tentang Bayesian. Inilah nyala umum: stackoverflow.com/questions/375913/… dan stackoverflow.com/questions/1777556/alternatives-to-gprof/…

— Mike Dunlavey

1

Ide bagus. Asumsi statistik adalah bahwa gangguan tersebut tidak tergantung pada keadaan eksekusi, yang merupakan hipotesis yang masuk akal. Sebuah selang kepercayaan binomial adalah alat yang baik untuk menggunakan untuk mewakili ketidakpastian. (Ini bisa menjadi pembuka mata juga: dalam situasi 3/10 Anda, CI dua sisi simetris 95% untuk probabilitas sebenarnya adalah [6,7%, 65,2%]. Dalam situasi 2/10 intervalnya adalah [2,5 %, 55,6%]. Ini adalah rentang yang luas! Bahkan dengan 2/3, batas bawah masih kurang dari 10%. Pelajaran di sini adalah bahwa sesuatu yang cukup langka dapat terjadi dua kali.)

— whuber

@whuber: Terima kasih. Kamu benar. Sesuatu yang lebih bermanfaat adalah nilai yang diharapkan. Sejauh prior, saya menunjukkan bahwa jika Anda hanya melihat sesuatu sekali, itu tidak memberi tahu Anda banyak kecuali Anda kebetulan tahu program berada dalam loop tak terbatas (atau sangat panjang).

— Mike Dunlavey

Saya pikir semua jawaban dan komentar sudah pasti mencerahkan dan benar, tetapi tidak ada yang benar-benar menyentuh kesetaraan menarik yang @MikeDunlavey taruh di pos aslinya. Kesetaraan ini dapat ditemukan di Beta wikipedia en.wikipedia.org/wiki/Beta_function#Incomplete_beta_function tetapi tidak ada deskripsi yang diberikan tentang mengapa demikian, hanya dinyatakan sebagai properti.

— bdeonovic

27

Pertimbangkan statistik pesanan dari undian independen dari distribusi yang seragam. Karena statistik pesanan memiliki distribusi Beta , kemungkinan tidak melebihi diberikan oleh integral Beta $x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$ $n+1$ $x_{[k]}$ $p$

Pr [x_{[k]} \leq p] = \frac{1}{B (k + 1, n - k + 1)} \int_{0}^{p} x^{k} (1 - x)^{n - k} d x .

$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$

(Mengapa ini? Berikut ini adalah demonstrasi yang tidak ketat tapi mudah diingat. Kesempatan bahwa terletak di antara dan adalah kesempatan bahwa di luar nilai seragam , di antaranya terletak di antara dan , setidaknya salah satunya terletak di antara dan , dan sisanya terletak di antara dan Untuk urutan pertama dalam sangat kecil kita hanya perlu mempertimbangkan kasus di mana tepatnya satu nilai (yaitu, itu sendiri) terletak di antara dan dan karenanya $x_{[k]}$ $p$ $p + dp$ $n+1$ $k$ $0$ $p$ $p$ $p + dp$ $p + dp$ $1$ $dp$ $x_{[k]}$ $p$ $p + dp$ $n - k$ melebihi . Karena semua nilai independen dan seragam, probabilitas ini sebanding dengan . Untuk urutan pertama dalam ini sama dengan , tepatnya integrand dari distribusi Beta. Istilah dapat dihitung langsung dari argumen ini sebagai koefisien multinomial atau diturunkan secara tidak langsung sebagai konstanta normalisasi integral.) $p + dp$ $p^k (dp) (1 - p - dp)^{n-k}$ $dp$ $p^k(1-p)^{n-k}dp$ $\frac{1}{B(k+1, n-k+1)}$ ${n+1}\choose{k,1, n-k}$

Menurut definisi, kejadian adalah bahwa nilai tidak melebihi . Secara ekuivalen, setidaknya dari nilai tidak melebihi : pernyataan sederhana ini (dan saya harap jelas) memberikan intuisi yang Anda cari. Probabilitas pernyataan setara diberikan oleh distribusi Binomial, $x_{[k]} \le p$ $k+1^\text{st}$ $p$ $k+1$ $p$

Pr [at least k + 1 of the x_{i} \leq p] = \sum_{j = k + 1}^{n + 1} (\binom{n + 1}{j}) p^{j} (1 - p)^{n + 1 - j} .

$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$

Singkatnya , integral Beta memecah perhitungan suatu peristiwa menjadi serangkaian perhitungan: menemukan setidaknya nilai dalam rentang , yang probabilitasnya biasanya kita hitung dengan Binomial cdf, dipecah menjadi satu sama lain kasus-kasus eksklusif di mana tepatnya nilai berada dalam kisaran dan 1 nilai berada dalam kisaran untuk semua kemungkinan , , dan adalah panjang yang sangat kecil. Menjumlahkan semua "windows" seperti itu --yaitu, mengintegrasikan - harus memberikan probabilitas yang sama dengan Binomial cdf. $k+1$ $[0, p]$ $k$ $[0, x]$ $[x, x+dx]$ $x$ $0 \le x \lt p$ $dx$ $[x, x+dx]$

teks alternatif

— whuber
sumber

Saya menghargai upaya ini. Saya harus benar-benar mempelajari ini karena itu bukan "bahasa ibu" saya. Juga, saya melihat banyak tanda dolar dan memformat barang. Apakah ada sesuatu yang tidak saya ketahui yang membuatnya tampak seperti matematika sungguhan?

— Mike Dunlavey

Apa yang terjadi? Tiba-tiba matematika muncul, dan mengetik di sini jadi sangat lambat.

— Mike Dunlavey

@ Mike Lihat meta.stats.stackexchange.com/q/218/919 .

— whuber

Saya merevisi pertanyaan, jika Anda ingin melihatnya. Terima kasih.

— Mike Dunlavey

1

Agak terlambat, tetapi akhirnya saya punya waktu untuk duduk dan menciptakan kembali argumen Anda. Kuncinya adalah "koefisien multinomial". Saya telah mencoba mengatasinya dengan menggunakan koefisien binomial tua biasa dan saya merasa semakin kesal. Sekali lagi terima kasih atas jawaban yang bagus.

— Mike Dunlavey

12

Lihatlah pdf Binomial sebagai fungsi : dan pdf Beta sebagai fungsi : Anda mungkin dapat melihat bahwa dengan pilihan (integer) yang sesuai untuk dan ini adalah sama. Sejauh yang saya tahu, hanya itu yang ada dalam hubungan ini: cara masuk ke pdf binomial kebetulan disebut distribusi Beta. $x$

f (x) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$

p

$p$

g (p) = \frac{Γ (a + b)}{Γ (a) Γ (b)} p^{a - 1} (1 - p)^{b - 1}

$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$

a

$a$

b

$b$

p

$p$

— Aniko
sumber

Saya tahu mereka terlihat hampir sama, tetapi jika saya mengganti y untuk nx, dan jika saya mengambil Beta pdf dan mengganti x untuk a-1 dan y untuk b-1 saya mendapatkan faktor tambahan (x + y + 1), atau n +1. yaitu (x + y + 1)! / x! / y! * p ^ x * q ^ y. Sepertinya itu cukup untuk membuatku marah.

— Mike Dunlavey

1

Mungkin seseorang akan berpadu dengan respons penuh, tetapi dalam penjelasan "intuitif" kita selalu dapat mengabaikan konstanta (seperti ) yang tidak bergantung pada variabel yang diminati ( dan ), tetapi diharuskan untuk buat pdf tambah / integrasikan ke 1. Jangan ragu untuk mengganti tanda "kesetaraan" dengan tanda "sebanding dengan".

n + 1

$n+1$

x

$x$

p

$p$

— Aniko

Poin bagus. Saya pikir saya semakin dekat dengan pemahaman. Saya masih berusaha untuk dapat mengatakan apa yang dikatakan x kepada Anda tentang distribusi p, dan mengapa kedua cdf tersebut berjumlah 1.

— Mike Dunlavey

1

Saya mengambil pandangan berbeda dari penjelasan "intuitif". Dalam beberapa kasus kami tidak terlalu peduli tentang konstanta, tetapi dalam kasus ini inti masalahnya adalah untuk melihat mengapa n + 1 muncul dan bukan n. Jika Anda tidak mengerti itu maka "intuisi" Anda salah.

— whuber

Saya merevisi pertanyaan, jika Anda ingin melihatnya. Terima kasih.

— Mike Dunlavey

5

Ketika Anda dicatat, distribusi Beta menggambarkan distribusi probabilitas percobaan parameter , sedangkan distribusi binomial menggambarkan distribusi hasil parameter . Menulis ulang pertanyaan Anda, apa yang Anda tanyakan adalah mengapa Yaitu, kemungkinan bahwa pengamatan plus satu lebih besar dari harapan pengamatan adalah sama dengan kemungkinan bahwa observasi plus satu lebih besar dari ekspektasi pengamatan. $F$ $I$

P (F \leq \frac{i + 1}{n}) + P (I \leq f n - 1) = 1

$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$

P (F n \leq i + 1) + P (I + 1 \leq f n) = 1

$P(Fn \le i+1)+P(I+1 \le fn)=1$

P (F n \leq i + 1) = P (f n < I + 1)

$P(Fn \le i+1)=P(fn<I+1)$

Saya akui bahwa ini mungkin tidak membantu intuisi perumusan asli masalah, tetapi mungkin membantu untuk setidaknya melihat bagaimana kedua distribusi menggunakan model dasar yang sama dari uji coba Bernoulli berulang untuk menggambarkan perilaku parameter yang berbeda.

— sesqu
sumber

Saya menghargai sikap Anda. Semua jawaban membantu saya untuk memikirkan pertanyaan dan mungkin lebih memahami apa yang saya tanyakan.

— Mike Dunlavey

Saya merevisi pertanyaan, jika Anda ingin melihatnya. Terima kasih.

— Mike Dunlavey

1

Mengenai revisi Anda: Ya, , selama interval sampling Anda cukup lama sehingga setiap pengamatan independen dan didistribusikan secara identik. Perhatikan bahwa jika Anda ingin menjadi Bayesian tentang hal itu dan menentukan distribusi sebelumnya yang tidak seragam untuk apa yang Anda harapkan proporsi sebenarnya, Anda dapat menambahkan sesuatu yang lain untuk kedua parameter.

F \sim B e t a (I + 1, N - I + 1)

$F\sim Beta(I+1,N-I+1)$

— sesqu

@sesqu, dapatkah jawaban Anda terkait dengan pertanyaan saya di sini: stats.stackexchange.com/questions/147978/… ? Saya akan menghargai pemikiran Anda tentang itu.

— Vicent

1

Di tanah Bayesian, distribusi Beta adalah konjugat sebelum parameter p dari distribusi Binomial.

— Ian Fiske
sumber

2

Ya, tetapi mengapa demikian?

— vonjd

1

Tidak dapat mengomentari jawaban lain, jadi saya harus membuat jawaban sendiri.

Posterior = C * Kemungkinan * Sebelumnya (C adalah konstanta yang membuat Posterior terintegrasi ke 1)

Diberikan model yang menggunakan distribusi Binomial untuk kemungkinan, dan distribusi Beta untuk Sebelumnya. Produk dari dua yang menghasilkan Posterior juga merupakan distribusi Beta. Karena Prior dan Posterior keduanya Beta, dan dengan demikian mereka adalah distribusi konjugat . Prior (a Beta) disebut conjugate prior untuk kemungkinan (a Binomial). Misalnya, jika Anda mengalikan Beta dengan Normal, Posterior tidak lagi menjadi Beta. Singkatnya, Beta dan Binomial adalah dua distribusi yang sering digunakan dalam inferensi Bayesian. Beta adalah Konjugat Sebelum Binomial, tetapi kedua distribusi tersebut bukan merupakan subset atau superset dari yang lain.

Gagasan kunci dari inferensi Bayesian adalah kita memperlakukan parameter p sebagai variabel acak yang berkisar dari [0,1] yang bertentangan dengan pendekatan inferensi frekuensi di mana kita memperlakukan parameter p sebagai tetap. Jika Anda melihat lebih dekat ke properti distribusi Beta, Anda akan melihat Mean dan Mode-nya semata-mata ditentukan oleh dan tidak relevan dengan parameter p $\alpha$ $\beta$ . Ini, ditambah dengan fleksibilitasnya, itulah sebabnya Beta biasanya digunakan sebagai Prior.

— John Li
sumber

1

Ringkasan: Sering dikatakan bahwa distribusi Beta adalah distribusi pada distribusi! Tapi apa artinya itu?

Ini pada dasarnya berarti bahwa Anda dapat memperbaiki dan menganggap sebagai fungsi dari . Apa yang dikatakan oleh perhitungan di bawah adalah bahwa nilai meningkat dari ke saat Anda menyetel dari ke . Tingkat peningkatan pada setiap persis pada . $n,k$ $\mathbb P[Bin(n,p)\geqslant k]$ $p$ $\mathbb P[Bin(n,p)\geqslant k]$ $0$ $1$ $p$ $0$ $1$ $p$ $\beta(k,n-k+1)$ $p$

Misalkan menunjukkan variabel acak Binomial dengan sampel dan probabilitas keberhasilan . Menggunakan aljabar dasar yang kita miliki $Bin(n,p)$ $n$ $p$

\frac{d}{d p} P [B i n (n, p) = i] = n (P [B i n (n - 1, p) = i - 1] - P [B i n (n - 1, p) = i]) .

$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$

Ini juga memiliki beberapa bukti kombinatorial yang bagus, anggap itu sebagai latihan!

Jadi kita punya:

\frac{d}{d p} P [B i n (n, p) ⩾ k] = \frac{d}{d p} \sum_{i = k}^{n} P [B i n (n, p) = i] = n (\sum_{i = k}^{n} P [B i n (n - 1, p) = i - 1] - P [B i n (n - 1, p) = i])

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$ yang merupakan seri telescoping dan dapat disederhanakan sebagai

\frac{d}{d p} P [B i n (n, p) ⩾ k] = n P [B i n (n - 1, p) = k - 1] = \frac{n!}{(k - 1)! (n - k)!} p^{k - 1} (1 - p)^{n - k} = β (k, n - k + 1) .

$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$

Keterangan Untuk melihat versi interaktif dari plot lihatlah ini . Anda dapat mengunduh buku catatan atau cukup menggunakan tautan Binder.

— MR_BD
sumber