Membalikkan Chernoff

Apakah ada Chernoff terbalik yang terikat sehingga probabilitas ekor setidaknya begitu banyak.

yaitu jika adalah variabel acak binomial independen dan . Maka dapatkah kita membuktikan untuk beberapa fungsi . μ = E [ Σ n i = 1 X i ] P r [ Σ n i = 1 X i ≥ ( 1 + δ ) μ ] ≥ f ( μ , δ , n ) $X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

Berikut adalah bukti eksplisit bahwa standar Chernoff terikat ketat hingga faktor konstan dalam eksponen untuk rentang parameter tertentu. (Secara khusus, setiap kali variabel 0 atau 1, dan 1 dengan probabilitas 1/2 atau kurang, dan $\epsilon\in(0,1/2)$ , dan batas atas Chernoff kurang dari konstanta.)

Jika Anda menemukan kesalahan, beri tahu saya.

Lemma 1. (sesaknya Chernoff terikat) Misalkan $X$ menjadi rata-rata $k$ independen, 0/1 variabel acak (rv). Untuk setiap $\epsilon\in(0,1/2]$ dan $p\in(0,1/2]$ , dengan asumsi $\epsilon^2 p k \ge 3$ ,

(i) Jika setiap rv adalah 1 dengan probabilitas paling banyak $p$ , maka

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Jika setiap rv adalah 1 dengan probabilitas setidaknya $p$ , maka

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Bukti. Kami menggunakan observasi berikut:

Klaim 1. Jika , maka ($1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Bukti Klaim 1. Dengan perkiraan Stirling, manaλ∈[1/(12i+1),1/12i]$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Jadi, , yaitu , setidaknya QED k$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$≥

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Bukti Lemma 1 Bagian (i). Tanpa kehilangan generalitas, asumsikan setiap 0/1 variabel acak dalam jumlah adalah 1 dengan probabilitas tepat . Catatan sama dengan jumlah , dan .p Pr [ X ≤ ( 1 - ε ) p ] Σ ⌊ ( 1 - ε ) p k ⌋ i = 0 Pr [ X = i / k ] Pr [ X = i / k ] = ($X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Perbaiki . Istilah dalam jumlah meningkat, sehingga istilah dengan indeks masing-masing memiliki nilai setidaknya , sehingga jumlah mereka memiliki nilai total setidaknya . Untuk melengkapi buktinya, kami menunjukkan bahwa i ≥ ℓ Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ≥ exp ( - 9 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Asumsi dan memberi , sehingga sisi kiri di atas setidaknya . Menggunakan Klaim 1, untuk mengikat , ini pada gilirannya setidaknya mana dan ε ≤ 1 / 2 ε p k ≥ 6 $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$($\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$A = $A\, B$ B= ($A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Untuk menyelesaikannya kami menampilkan dan .B ≥ exp ( - 8 ϵ 2 p k $A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Klaim 2. $A \ge \exp({-\epsilon^2 pk})$

Bukti Klaim 2. Asumsi dan menyiratkan (i) .ε ≤ 1 / 2 p k ≥ $\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

Menurut definisi, . Oleh (i), . Jadi, (ii) .p k ≥ 12 $\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

Mengganti sisi kanan (ii) untuk di memberi (iii) .A A ≥ $\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

Asumsinya, , menyiratkan , yang dengan (iii) memberikan (iv) .ϵ $\epsilon^2 pk \ge 3$ A≥$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

Dari berikut bahwa (v) .exp ( - ϵ 2 p k ) ≤ exp ( - 3 ) ≤ $\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) dan (v) bersama-sama memberikan klaim. QED

Klaim 3. .$B\ge \exp({-8\epsilon^2 pk})$

Bukti Klaim 3. Perbaiki sedemikian rupa sehingga . Pilihan menyiratkan , sehingga klaim akan berlaku selama . Mengambil setiap sisi dari ketidaksetaraan terakhir ini dengan kekuatan dan menyederhanakan, itu setara dengan Mengganti dan menyederhanakan, itu sama dengan ℓ = ( 1 - δ ) p k ℓ δ ≤ 2 ϵ B ≥ exp ( - 2 δ 2 p k ) - 1 / ℓ $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$ℓ=(1-δ)pk(1-δ)(1+δ

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$Pada(1+z)≤z- $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Mengambil logaritma dari kedua sisi dan menggunakan dua kali, itu akan tahan selama Sisi kiri di atas menyederhanakan menjadi , yang kurang dari karena . QED$\ln(1+z)\le z$δ2 $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ 2 δ 2 / ( 1 - δ ) p ≤ 1 /$\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

Klaim 2 dan 3 menyiratkan . Ini menyiratkan bagian (i) dari lemma.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Bukti Lemma 1 Bagian (ii). Tanpa kehilangan keumuman menganggap setiap variabel acak adalah dengan probabilitas tepat .$1$$p$

Catatan . Perbaiki .ℓ = ⌈ ( 1 + 2 ε ) p k ⌉ - $\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Istilah terakhir dalam jumlah total setidaknya , yang setidaknya . (Buktinya sama dengan untuk (i), kecuali dengan digantikan oleh dan digantikan oleh sehingga .) QED( ε p k - 2 ) Pr [ X = ℓ / k ] exp ( - 9 ε 2 p k ) ℓ ℓ δ - δ ℓ = ( 1 + δ ) p $\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

The Berry-Esseen teorema dapat memberikan batas ekor probabilitas rendah, selama mereka lebih tinggi dari .$n^{-1/2}$

Alat lain yang bisa Anda gunakan adalah ketimpangan Paley-Zygmund . Ini menyiratkan bahwa untuk setiap bahkan bulat , dan setiap bernilai real variabel acak ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Bersama dengan teorema multinomial, untuk sejumlah variabel acak Rademacher Paley-Zygmund bisa mendapatkan batas bawah cukup kuat. Juga bekerja dengan variabel acak terikat-kemerdekaan. Misalnya, Anda dengan mudah mendapatkan bahwa jumlah variabel acak acak bebas adalah dengan probabilitas konstan.n n ± 1 Ω ( $X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Jika Anda memang setuju dengan jumlah percobaan Bernoulli (dan tidak, katakanlah, variabel acak terbatas), berikut ini cukup ketat.

Ketimpangan Ketidaksamaan *. Biarkan menjadi menarik dari Bernoulli rv dengan , dan biarkan bilangan bulat diberikan. Jika (a) dan , atau (b) , maka mana adalah cdf dari standar normal. E ( X 1 ) = p k ≤ n p ≤ 1 / 4 n p ≤ k n p ≤ k ≤ n ( 1 - p ) Pr [ Σ i X i ≥ k ] ≥ 1 - Φ ( k - n $\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Memperlakukan argumen pada sebagai mentransformasikan standar normal, ini sesuai persis dengan apa yang CLT katakan kepadamu; pada kenyataannya, ini memberitahu kita bahwa Binomial yang memenuhi kondisi teorema akan mendominasi Gaussians yang sesuai pada ekor atas.)$\Phi$

Dari sini, Anda dapat menggunakan batas pada untuk mendapatkan sesuatu yang lebih bagus. Misalnya, dalam buku pertama Feller, di bagian Gaussians, ditunjukkan untuk setiap yang mana adalah kepadatan standar normal. Ada batasan serupa di artikel Wikipedia untuk "Q-function" juga.z > 0 $\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Selain itu, dan apa yang dikatakan orang lain, Anda juga dapat mencoba menggunakan Binomial secara langsung, mungkin dengan beberapa Stirling.

(*) Beberapa pernyataan ketidaksetaraan Slud yang terbaru mengabaikan beberapa kondisi ini; Saya sudah mereproduksi satu di kertas Slud.

Teorema de Moivre-Laplace menunjukkan bahwa variabel-variabel seperti, setelah dinormalisasi dan dalam kondisi tertentu, akan menyatu dalam distribusi ke distribusi normal. Itu cukup jika Anda ingin batas bawah konstan.$|T\cap S_1|$

Untuk batas bawah seperti , Anda memerlukan alat yang sedikit lebih baik. Inilah satu referensi yang saya tahu (tetapi hanya secara kebetulan - saya sendiri tidak pernah memiliki kesempatan untuk menggunakan ketidaksetaraan seperti itu). Beberapa batas bawah eksplisit pada probabilitas ekor dari distribusi binomial diberikan sebagai Teorema 1.5 buku grafik Acak oleh Béla Bollobás, Cambridge, edisi ke-2, di mana referensi lebih lanjut diberikan pada Pengantar probabilitas dan penerapannya oleh Feller dan Foundations of Probability oleh Rényi.$n^{-c}$

Teorema Littlewood-Offord Generalized tidak tepat seperti yang Anda inginkan, tetapi memberikan apa yang saya anggap sebagai "Chernoff terbalik" terikat dengan menunjukkan bahwa jumlah variabel acak tidak mungkin jatuh dalam kisaran kecil di sekitar nilai tertentu (termasuk harapan). Mungkin itu akan bermanfaat.

Secara formal, teorema adalah sebagai berikut.

Teorema Littlewood-Offord Generalized : Biarkan , dan menjadi bilangan real sedemikian rupa sehingga untuk dan biarkan menjadi variabel acak independen yang memiliki nilai nol dan satu. Untuk , misalkan untuk semua . Kemudian, untuk setiap , Di mana adalah konstanta hanya bergantung pada .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Eksponen dalam standar Chernoff terikat seperti yang dinyatakan di Wikipedia ketat untuk variabel acak bernilai 0/1. Misalkan dan biarkan menjadi urutan variabel acak independen sehingga untuk setiap , dan . Kemudian untuk setiap , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Di sini, , yang merupakan perbedaan Kullback-Leibler antara Bernoulli secara acak variabel dengan parameter dan .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Seperti disebutkan, batas atas dalam ketidaksetaraan di atas dibuktikan di Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) dengan nama "Chernoff-Hoeffding Theorem, bentuk aditif". Batas bawah dapat dibuktikan menggunakan misalnya "metode tipe". Lihat Lemma II.2 dalam [1]. Juga, ini tercakup dalam buku teks klasik tentang teori informasi oleh Cover dan Thomas.

[1] Imre Csiszár: Metode Jenis. Transaksi IEEE pada Teori Informasi (1998). http://dx.doi.org/10.1109/18.720546