Bagaimana cara menghasilkan kesuksesan Bernoulli berturut-turut dalam jumlah non-integer?

Diberikan:

1. Koin dengan bias tidak diketahui (Head).$p$
2. A nyata sangat positif .$a > 0$

Masalah:

Hasilkan varian Bernoulli acak dengan bias .$p^{a}$

Adakah yang tahu bagaimana melakukan ini? Misalnya, ketika adalah bilangan bulat positif, maka seseorang dapat membalik koin itu kali dan melihat apakah semua hasilnya adalah Kepala: jika mereka kemudian mengeluarkan '0', sebaliknya mengeluarkan '1'. Kesulitannya terletak pada kenyataan bahwa tidak harus berupa bilangan bulat. Juga, jika saya tahu bias , saya hanya bisa membangun koin lain dengan bias yang diinginkan. $a$$a$$a$$p$

Kita dapat menyelesaikan ini melalui beberapa "trik" dan sedikit matematika.

Berikut adalah algoritma dasar:

1. Hasilkan variabel acak Geometrik dengan probabilitas keberhasilan $p$ .
2. Hasil dari variabel acak ini menentukan nilai tetap yang diketahui $f_n \in [0,1]$ .
3. Hasilkan $\mathrm{Ber}(f_n)$ variabel acak menggunakan koin flips dihasilkan dari blockwise dipasangkan membalik dari kami $\mathrm{Ber}(p)$ koin.
4. Hasil yang dihasilkan akan $\mathrm{Ber}(p^a)$ untuk semua$a \in (0,1)$ , yang kita butuhkan.

Agar lebih mudah dicerna, kami akan memecahnya menjadi beberapa bagian.

Bagian 1 : Tanpa kehilangan sifat umum, anggaplah $0 < a < 1$ .

Jika $a \geq 1$ , maka, kita dapat menulis $p^a = p^n p^b$ untuk beberapa bilangan bulat positif $n$ dan beberapa $0 \leq b < 1$ . Tetapi, untuk dua Bernoulli independen mana pun, kami memiliki Kami dapat menghasilkan p n Bernoulli dari koin kami dengan cara yang jelas. Oleh karena itu, kita hanya perlu menyibukkan diri dengan menghasilkan B e r ( p a ) ketika

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ $p^n$$\mathrm{Ber}(p^a)$ .$a \in (0,1)$

Bagian 2 : Tahu bagaimana menghasilkan yang sewenang-wenang dari adil koin membalik.$\mathrm{Ber}(q)$

Ada cara standar untuk melakukan ini. Rentangkan dalam ekspansi binernya dan kemudian gunakan koin jungkir balik kami untuk "mencocokkan" digit q . Pertandingan pertama menentukan apakah kami mendeklarasikan sukses ("kepala") atau gagal ("ekor"). Jika q n = $q = 0.q_1 q_2 q_3 \ldots$$q$$q_n = 1$ dan flip koin kami adalah kepala, deklarasikan kepala, jika dan flip koin kami adalah ekor, nyatakan ekor. Kalau tidak, pertimbangkan digit berikutnya terhadap flip koin baru.$q_n = 0$

Bagian 3 : Tahu bagaimana menghasilkan koin balik yang adil dari yang tidak adil dengan bias yang tidak diketahui.

Ini dilakukan, dengan asumsi , dengan membalik koin berpasangan. Jika kita mendapatkan H T , menyatakan kepala; jika kita mendapatkan T H , menyatakan ekor, dan sebaliknya ulangi percobaan sampai salah satu dari dua hasil tersebut terjadi. Mereka sama-sama kemungkinan, jadi harus memiliki probabilitas$p \in (0,1)$$HT$$TH$ .$1/2$

Bagian 4 : Beberapa matematika. (Taylor untuk menyelamatkan.)

Dengan memperluas sekitar p 0 = 1 , teorema Taylor menyatakan bahwa p a = 1 - a ( 1 - p ) - a ( $h(p) = p^a$$p_0 = 1$ Perhatikan bahwa karena 0 < a < 1 , setiap istilah setelah yang pertama adalahnegatif, jadi kita memiliki p a = 1 - ∞ ∑ n = 1 b n ( 1 - p )

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$ mana 0 ≤ b n ≤ 1 dikenalsebagai apriori. Oleh karena itu 1 - p a = ∞ Σ n = 1 b n ( 1 - p ) n = ∞ Σ n = 1 b n P ( G ≥ n ) = ∞ Σ n = 1 f n P ( G = n ) = $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ n ≥ 1 . $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ di mana , f 0 = 0 dan f n = ∑ n k = 1 b k untuk$G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

Dan, kita sudah tahu bagaimana menggunakan koin kita untuk menghasilkan variabel acak Geometrik dengan probabilitas keberhasilan .$p$

Bagian 5 : Trik Monte Carlo.

Misalkan adalah variabel acak yang mengambil nilai dalam [ 0 , 1 ] dengan P ( X = x n ) = p n . Biarkan U ∣ X ∼ B e r ( X ) . Kemudian P ( U = 1 ) = ∑ n x n p n$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

Tapi, mengambil dan x n = f n , kita lihat sekarang bagaimana untuk menghasilkan B e r ( 1 - p a ) variabel acak dan ini setara dengan menghasilkan B e r ( p a ) satu.$p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

Apakah jawaban berikut ini konyol?

Jika adalah independen B e r ( p ) dan Y n memiliki distribusi B e r ( ( ∑ n i = 1 X i / n ) a ) , maka Y n akan kira-kira didistribusikan sebagai B e r ( p a ) , ketika n → $X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$ .

Oleh karena itu, jika Anda tidak tahu , tetapi Anda dapat melemparkan koin ini banyak kali, adalah mungkin untuk sampel (kurang-lebih) dari B e r ( p a ) variabel acak.$p$$\mathrm{Ber}(p^a)$

RKode contoh :

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Hasil:

p^a = 0.01234568 
est = 0.012291 

Saya memposting eksposisi berikut dari pertanyaan ini dan jawaban kardinal ke forum Diskusi Umum dari kelas Combinatorics Analitik saat ini di Coursera, "Penerapan rangkaian kekuatan untuk membangun variabel acak."Saya memposting salinan di sini sebagai wiki komunitas untuk membuat ini tersedia secara publik dan lebih permanen.

---

Ada pertanyaan dan jawaban menarik di stat.stackexchange.com terkait dengan seri daya: "Bagaimana menghasilkan jumlah non-integer dari kesuksesan Bernoulli berturut-turut?" Saya akan memparafrasekan pertanyaan dan jawabannya dengan kardinal.

Misalkan kita memiliki koin yang kemungkinan tidak adil, yang berkepala probabilitas , , dan bilangan real positif α . Bagaimana kita dapat membangun suatu peristiwa yang probabilitasnya adalah p α ?$p$$\alpha$$p^\alpha$

Jika adalah bilangan bulat positif, kita bisa membalik koin α kali dan membiarkan kejadiannya bahwa semua lemparan adalah kepala. Namun, jika α tidak integer, mengatakan 1 / 2 , maka ini tidak masuk akal, tapi kita bisa menggunakan ide ini untuk mengurangi kasus yang 0 < α < 1 . Jika kita ingin membangun suatu peristiwa yang probabilitasnya adalah p 3.5 , kita mengambil persimpangan dari peristiwa-peristiwa independen yang probabilitasnya adalah p 3 dan p 0,5 .$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$

Satu hal yang dapat kita lakukan adalah membuat sebuah peristiwa dengan probabilitas diketahui [ 0 , 1 ] . Untuk melakukan hal ini, kita dapat membuat aliran bit yang adil dengan berulang kali membalik koin dua kali, membaca H T sebagai 1 dan T H sebagai 0 , dan mengabaikan H H dan T T . Kami membandingkan aliran ini dengan ekspansi biner p ′ = 0. a 1 a 2 a 3 . . . $p' \in [0,1]$$HT$$1$$TH$$0$$HH$$TT$$p' = 0.a_1a_2a_3..._2$. Acara yang ketidaksepakatan pertama adalah di mana memiliki probabilitas p ' . Kami tidak tahu p $a_i=1$$p'$$p^\alpha$ , jadi kami tidak bisa menggunakan ini secara langsung, tetapi itu akan menjadi alat yang berguna.

Gagasan utamanya adalah bahwa kami ingin menggunakan seri daya untuk di manap=1-q. Kita dapat membuat peristiwa yang probabilitasnyaqndengan membalik koinnkali dan melihat apakah semuanya berekor, dan kita dapat menghasilkan peristiwa dengan probabilitasp′qndengan membandingkan digit binerp′dengan bit stream yang adil seperti di atas dan memeriksa apakahnlemparan semuanya ekor.$p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$$p=1-q$$q^n$$n$$p' q^n$$p'$$n$

Bangun variabel acak geometrik dengan parameter p . Ini adalah jumlah ekor sebelum kepala pertama dalam urutan lemparan koin yang tak terbatas. P ( G = n ) = ( 1 - p ) n p = q n p . (Beberapa orang menggunakan definisi yang berbeda dengan 1. )$G$$p$$P(G=n) = (1-p)^np = q^n p$$1$

$t_0, t_1, t_2, ...$$t_G$$G$$G$$t_n \in [0,1]$$t_G$$[0,1]$$E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$ .

$p$$p^\alpha$$q$

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

$1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$$t_n$$q$$q^n$$1-p^\alpha = \sum_n t_n q^n p$$t_n\in [0,1]$$1-0^\alpha = 1$$1-p^\alpha$$t_G$$p^\alpha$

---

Sekali lagi, argumennya adalah karena kardinal.

Jawaban yang sangat lengkap oleh kontribusi kardinal dan selanjutnya mengilhami komentar / varian berikut.

$q:=1-p$$X_n$$q$$M_n := \max(X_1,\,X_2,\,\dots, X_n)$$q^n$$n$$N \geq 1$$M_N$

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ So if $0 < a < 1$ and if we take $\mathrm{Pr}\{N =n\} =b_n$ from cardinal's answer, we find $\mathrm{Pr}\{M_N =0\} = 1- p^a$ and $1-M_N$ is $\mathrm{Ber}(p^a)$ as wanted. This is indeed possible since the coefficients $b_n$ satisfy $b_n \geqslant 0$ and they sum to $1$.

The discrete distribution of $N$ depends only on $a$ with $0 < a < 1$, recall

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ It has interesting features. It turns out to have an infinite expectation and an heavy tail behaviour $n \,b_n \sim c/n^a$ with $c = -1/\Gamma(-a) >0$.

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$. The number of computed $X_k$ is geometrically distributed.