Melemparkan Balls ke dalam Bins, memperkirakan probabilitas yang lebih rendah

Ini bukan pekerjaan rumah, meskipun sepertinya. Setiap referensi diterima. :-)

Skenario: Ada bola yang $n$ berbeda dan nampan yang $n$ berbeda (dilabeli dari 1 ke $n$ , dari kiri ke kanan). Setiap bola dilemparkan secara independen dan seragam ke dalam tempat sampah. Biarkan $f(i)$ menjadi jumlah bola di $i$ ~ bin th. Biarkan $E_i$ menunjukkan acara berikut.

Untuk setiap $j\le i$ ,$\sum_{k\le j}{f(k)} \le j-1$

Artinya, pertama sampah (paling kiri sampah) mengandung kurang dari bola, untuk setiap .$j$$j$$j$$j\le i$

Pertanyaan: Perkirakan , dalam hal ? Ketika menjadi tak terhingga. Lowerbound lebih disukai. Saya kira formula yang mudah dihitung tidak ada.$\sum_{i<n}{Pr(E_i)}$$n$$n$

Contoh: . Catatan .$\lim\limits_{n\to\infty}{Pr(E_1)}=\lim\limits_{n\to\infty}{(\frac{n-1}{n})^n}=\frac{1}{e}$$Pr(E_n)=0$

Tebakan saya: Saya kira , ketika menjadi tak terhingga. Saya dianggap yang pertama item dalam penjumlahan.n ln $\sum_{i<n}{Pr(E_i)}=\ln n$$n$$\ln n$

EDIT: (2014-08-08) Seperti yang ditunjukkan Douglas Zare dalam komentar, argumen di bawah ini, khususnya 'jembatan' antara dua probabilitas, salah. Saya tidak melihat cara langsung untuk memperbaikinya. Aku akan meninggalkan jawaban di sini karena saya percaya masih menyediakan beberapa intuisi, tapi tahu bahwa

$$\Pr(E_m) \le \prod_{l=1}^{m}\Pr(F_l)$$ adalah tidak benar secara umum.

---

Ini tidak akan menjadi jawaban yang lengkap tetapi mudah-mudahan itu akan memiliki konten yang cukup sehingga Anda atau seseorang yang lebih berpengetahuan daripada saya bisa menyelesaikannya.

Pertimbangkan probabilitas tepat bola jatuh ke pertama l (dari n ) sampah:$k$$l$$n$

$$\binom{n}{k} \left( \frac{l}{n} \right)^k \left(\frac{n-l}{n} \right)^{n-k}$$

Sebut probabilitas bahwa kurang dari bola jatuh ke dalam l bin pertama F l :$l$$l$$F_l$

$$\Pr(F_l) = \sum_{k=0}^{l-1} \binom{n}{k} \left( \frac{l}{n} \right)^k \left( \frac{n-l}{n} \right)^{n-k}$$

Probabilitas bahwa acara tersebut, , di atas terjadi kurang dari jika kita menganggap masing-masing F l peristiwa yang terjadi secara independen dan sekaligus. Ini memberi kita jembatan antara keduanya:$E_l$$F_l$

$$\begin{array}{lll} \Pr(E_m) & \le & \prod_{l=1}^m \Pr(F_l) \\ & = & \prod_{l=1}^m \left( \sum_{k=1}^{l-1} \binom{n}{k} \left( \frac{l}{n}^k \right) \left( \frac{n-l}{n} \right)^{n-k} \right) \\ & = & \prod_{l=1}^m F(l-1; n, \frac{l}{n} ) \end{array}$$

Di mana adalahfungsi distribusi kumulatif untuk distribusi Binomialdenganp=$F(l-1; n, \frac{l}{n})$ . Cukup membaca beberapa baris di halaman Wikipedia, dan mencatat bahwa(l-1≤pn), kita dapat menggunakanketidaksetaraan Chernoffuntuk mendapatkan:$p = \frac{l}{n}$$(l-1 \le p n)$

$$\begin{array}{lll} \Pr(E_m) & \le & \prod_{l=1}^m \exp\left[ -\frac{1}{2l} \right] \\ & = & \exp\left[ - \frac{1}{2} \sum_{l=1}^m \frac{1}{l} \right] \\ & = & \exp\left[ - \frac{1}{2} H_m \right] \\ & \le & \exp\left[ -\frac{1}{2} \left( \frac{1}{2 m} + \ln(m) + \gamma \right) \right] \end{array}$$

Dimana adalah m 'th Harmonic Nomor , γ adalah konstanta Euler-Mascheroni dan ketidaksetaraan untuk H m diambil dari Wolfram mathworld terkait halaman.$H_m$$m$$\gamma$$H_m$

Tidak khawatir tentang faktor, ini akhirnya memberi kita:$e^{-1/4m}$

$$\Pr(E_m) \le \frac{ e^{ -\gamma/2}}{\sqrt{m}}$$

Di bawah ini adalah plot log-log dengan rata-rata 100.000 instance untuk sebagai fungsi m dengan fungsi e - γ /$n=2048$$m$ juga diplot untuk referensi:$\frac{e^{ -\gamma/2}}{\sqrt{m}}$

Sementara konstanta mati, bentuk fungsi tampaknya benar.

Di bawah ini adalah plot log-log untuk memvariasikan dengan setiap titik menjadi rata-rata 100.000 instance sebagai fungsi dari m :$n$$m$

Akhirnya, sampai ke pertanyaan awal yang Anda inginkan terjawab, karena kita tahu bahwa kita memiliki:$\Pr(E_m) \propto \frac{1}{\sqrt{m}}$

$$\sum_{i<n} \Pr(E_i) \propto \sqrt{n}$$

Dan sebagai verifikasi numerik, di bawah ini adalah plot log-log dari jumlah, , versus ukuran instance, n . Setiap titik mewakili rata-rata jumlah 100.000 contoh. Fungsi x 1 / 2 telah diplot untuk referensi:$S$$n$$x^{1/2}$

Sementara saya tidak melihat hubungan langsung antara keduanya, trik dan bentuk akhir dari masalah ini memiliki banyak kesamaan dengan Masalah Ulang Tahun seperti yang awalnya ditebak dalam komentar.

Jawabannya adalah .$\Theta(\sqrt{n})$

Pertama, mari kita hitung .$E_{n-1}$

Mari kita misalkan kita melempar bola ke dalam n nampan, dan melihat probabilitas bahwa sebuah bin memiliki tepat k bola di dalamnya. Probabilitas ini berasal dari distribusi Poisson, dan seperti n pergi ke ∞ probabilitas bahwa ada tepat k bola di tempat sampah yang diberikan adalah $n$$n$$k$$n$$\infty$$k$.$\frac{1}{e} \frac{1}{ k!}$

Sekarang, mari kita lihat cara yang berbeda dalam mendistribusikan bola ke tempat sampah. Kami melempar sejumlah bola ke setiap nampan yang dipilih dari distribusi Poisson, dan syarat jika ada bola total. Saya mengklaim bahwa ini memberikan distribusi yang sama persis seperti melempar n bola ke dalam n bins. Mengapa? Sangat mudah untuk melihat bahwa kemungkinan memiliki k j bola di j ^th bin sebanding dengan Π n j = 1$n$$n$$n$$k_j$$j$di kedua distribusi.$\prod_{j=1}^n \frac{1}{k_j!}$

Jadi mari kita pertimbangkan jalan acak di mana pada setiap langkah, Anda beralih dari ke t + 1 - k dengan probabilitas $t$$t+1-k$. Saya mengklaim bahwa jika Anda mengkondisikan pada kejadian bahwa jalan acak ini kembali ke 0 setelahlangkahn, probabilitas bahwa acak ini selalu berada di atas0adalah probabilitas bahwa OP ingin menghitung. Mengapa? Ketinggian ini berjalan ini acak setelahslangkah adalahsdikurangi jumlah bola di pertamassampah.$\frac{1}{e}\frac{1}{k!}$$n$$0$$s$$s$$s$

Jika kita memilih jalan acak dengan probabilitas $\frac{1}{2}$ of going up or down $1$ on each step, this would be the classical ballot problem, for which the answer is $\frac{1}{2(n-1)}$. This is a variant of the ballot problem which has been studied (see this paper), and the answer is still $\Theta\left(\frac{1}{n}\right)$. I don't know whether there is an easy way to compute the constant for the $\Theta\left(\frac{1}{n}\right)$ for this case.

The same paper shows that when the random walk is conditioned to end at height $k$, the probability of always staying positive is $\Theta(k/n)$ as long as $k = O(\sqrt{n})$. This fact will let us estimate $E_s$ for any $s$.

I'm going to be a little handwavy for the rest of my answer, but standard probability techniques can be used to make this rigorous.

We know that as $n$ goes to $\infty$, this random walk converges to a Brownian bridge, i.e., Brownian motion conditioned to start and end at $0$. From general probability theorems, for $\epsilon n < s< (1-\epsilon)n$, the random walk is roughly $\Theta(\sqrt{n})$ away from the $x$-axis. In the case it has height $t>0$, the probability that it has stayed above $0$ for the entire time before $s$ is $\Theta(t/s)$. Since $t$ is likely to be $\Theta(\sqrt{n})$ when $s = \Theta(n)$, we have $E_s \approx \Theta(1/\sqrt{n})$.

[Edit 2014-08-13: Thanks to a comment by Peter Shor, I have changed my estimate of the asymptotic growth rate of this series.]

My belief is that $\lim_{n\to\infty} \sum_{i<n} \Pr(E_i)$ grows as $\sqrt{n}$. I do not have a proof but I think I have a convincing argument.

Let $B_i = f(i)$ be a random variable that gives the number of balls in bin $i$. Let $B_{i,j} = \sum_{k=i}^j B_k$ be a random variable that gives the total number of balls in bins $i$ through $j$ inclusive.

You can now write $\Pr(E_i) = \sum_{b<j} \Pr(E_j \wedge B_{1,j} = b) \Pr(E_i \mid E_j \wedge B_{1,j} = b)$ for any $j < i$. To that end, let's introduce the functions $\pi$ and $g_i$.

$$\pi(j, k, b) = \Pr(B_j = k \mid B_{1,j-1} = b) = \binom{n-b}{k}\left(\frac{1}{n-j+1}\right)^k\left(\frac{n-j}{n-j+1}\right)^{n-b-k}$$

$$\begin{aligned} g_i(j, k, b) \; &= \Pr(E_i \wedge B_{j,i} \le k \mid E_{j-1} \wedge B_{1,j-1} = b) \\ &= \begin{cases} 0 & k < 0 \\ 1 & k >= 0 \wedge j > i \\ \sum_{l=0}^{j-b-1} \pi(j, l, b) g_i(j + 1, k - l, b + l) & \mathrm{otherwise} \end{cases}\end{aligned}$$

We can write $\Pr(E_i)$ in terms of $g_i$:

$$\Pr(E_i) = g_i(1, i - 1, 0)$$

Now, it's clear from the definition of $g_i$ that

$$\Pr(E_i) = \frac{(n-i)^{n-i+1}}{n^n}h_i(n)$$

where $h_i(n)$ is a polynomial in $n$ of degree $i - 1$. This makes some intuitive sense too; at least $n - i + 1$ balls will have to be put in one of the $(i+1)$th through $n$th bins (of which there are $n-i$).

Since we're only talking about $Pr(E_i)$ when $n\to\infty$, only the lead coefficient of $h_i(n)$ is relevant; let's call this coefficient $a_i$. Then

$$\lim_{n\to\infty} \Pr(E_i) = \frac{a_i}{e^i}$$

How do we compute $a_i$? Well, this is where I'll do a little handwaving. If you work out the first few $E_i$, you'll see that a pattern emerges in the computation of this coefficient. You can write it as

$$a_i = \mu_i(1, i-1, 0)$$ where $$\mu_i(j, k, b) = \begin{cases} 0 & k < 0 \\ 1 & k >= 0 \wedge i > j \\ \sum_{l = 0}^{j-b-1} \frac{1}{l!} \mu_i(j + 1, k - l, b+ l) & \mathrm{otherwise} \end{cases}$$

Now, I wasn't able to derive a closed-form equivalent directly, but I computed the first 20 values of $Pr(E_i)$:

N       a_i/e^i
1       0.367879
2       0.270671
3       0.224042
4       0.195367
5       0.175467
6       0.160623
7       0.149003
8       0.139587
9       0.131756
10      0.12511
11      0.119378
12      0.114368
13      0.10994
14      0.105989
15      0.102436
16      0.0992175
17      0.0962846
18      0.0935973
19      0.0911231
20      0.0888353

Now, it turns out that

$$\DeclareMathOperator{\Pois}{Pois} \Pr(E_i) = \frac{i^i}{i! e^i} = \Pois(i; i)$$

where $\Pois(i; \lambda)$ is the probability that a random variable $X$ has value $i$ when it's drawn from a Poisson distribution with mean $\lambda$. Thus we can write our sum as

$$\lim_{n\to\infty} \sum_{i=1}^n \Pr(E_i) = \sum_{x = 1}^{\infty} \frac{x^x}{x!e^x}$$

Wolfram Alpha tells me this series diverges. Peter Shor points out in a comment that Stirling's approximation allows us to estimate $\Pr(E_i)$:

$$\lim_{n\to\infty} \Pr(E_x) = \frac{x^x}{x!e^x} \approx \frac{1}{\sqrt{2 \pi x}}$$

Let

$$\phi(x) = \frac{1}{\sqrt{2 \pi x}}$$

Since

• $\lim_{x\to\infty}\frac{\phi(x)}{\phi(x+1)} = 1$
• $\phi(x)$ is decreasing
• $\int_1^n \phi(x)dx \to \infty$ as $n \to \infty$

our series grows as $\int_1^n \phi(x) dx$ (See e.g. Theorem 2). That is,

$$\sum_{i=1}^n Pr(E_i) = \Theta\left(\sqrt{n}\right)$$

Exhaustively checking the first few terms (by examining all n^n cases) and a bit of lookup shows that the answer is https://oeis.org/A036276 / $n^n$. This implies that the answer is $\sim n^{\frac{1}{2}} \frac{\sqrt{\pi}}{2}$.

More exactly, the answer is:

$$\frac{n!}{2 n^n} \sum_{k=0}^{n-2}\frac{n^k}{k!}$$ and there is no closed-form answer.