Jumlah Produk dari variabel acak Rademacher

Biarkan menjadi variabel acak independen yang mengambil nilai atau dengan probabilitas masing-masing 0,5. Pertimbangkan jumlah . Saya ingin batas atas probabilitas . Batas terbaik yang saya miliki saat ini adalah 2e ^ {- \ frac {ct} {\ max (a, b)}} di mana c adalah konstanta universal. Ini dicapai dengan membatasi probabilitas Pr (| x_1 + \ dots + x_n | <\ sqrt {t}) dan Pr (| y_1 + \ dots + y_n | <\ sqrt {t}) dengan penerapan batas Chernoff sederhana. Bisakah saya berharap mendapatkan sesuatu yang jauh lebih baik daripada batas ini? Sebagai permulaan setidaknya bisa saya dapatkan$x_1 \ldots x_a,y_1 \ldots y_b$$+1$$-1$$S = \sum_{i,j} x_i\times y_j$$P(|S| > t)$$2e^{-\frac{ct}{\max(a,b)}}$$c$$Pr(|x_1 + \dots + x_n|<\sqrt{t})$$Pr(|y_1 + \dots + y_n|<\sqrt{t})$$e^{-c\frac{t}{\sqrt{ab}}}$ . Jika saya bisa mendapatkan ekor sub-gaussian yang mungkin akan menjadi yang terbaik tetapi bisakah kita mengharapkan itu (saya tidak berpikir begitu tetapi tidak dapat memikirkan argumen)?

Hubungan aljabar

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

menunjukkan sebagai produk dari dua jumlah independen. Karena dan adalah independen Bernoulli , adalah variabel Binomial yang telah digandakan dan digeser. Oleh karena itu meannya adalah dan variansinya adalah . Demikian pula memiliki rata-rata dan varian . Mari kita standarisasi sekarang dengan mendefinisikan( x i + 1 ) / 2 ( y j + 1 ) / 2 ( 1 / 2 ) X = Σ a i = 1 x i ( a , 1 / 2 ) 0 a Y = Σ b j = 1 y j 0 $S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$$a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

dari mana

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

Untuk tingkat tinggi (dan terukur) akurasi, sebagai tumbuh besar mendekati distribusi normal standar. Karena itu marilah kita memperkirakan sebagai kali produk dari dua normals standar.X a S √$a$$X_a$$S$$\sqrt{ab}$

Langkah selanjutnya adalah memperhatikan hal itu

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

merupakan kelipatan dari perbedaan kuadrat independen standar variabel normal dan . Distribusi dapat dihitung secara analitik (dengan membalik fungsi karakteristik ): pdf-nya sebanding dengan fungsi Bessel dari urutan nol, . Karena fungsi ini memiliki buntut eksponensial, kami segera menyimpulkan bahwa untuk dan dan tetap , tidak ada perkiraan yang lebih baik untuk daripada yang diberikan dalam pertanyaan.V Z a b K 0 ( | z | ) / π a b t Pr a , b ( S > t )$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

Masih ada ruang untuk perbaikan ketika satu (setidaknya) dari dan tidak besar atau pada titik di ujung dekat dengan . Perhitungan langsung dari distribusi menunjukkan pengurangan melengkung dari probabilitas ekor pada titik yang jauh lebih besar dari , kira-kira di luar . Plot log-linear dari CDF untuk berbagai nilai (diberikan dalam judul) dan (berkisar kira-kira di atas nilai yang sama dengan , dibedakan oleh warna di setiap plot) menunjukkan apa yang terjadi. Untuk referensi, grafik membatasib S ± a b S $a$$b$$S$$\pm a b$$S$$\sqrt{ab}$ SabaK0S0Pr(S>t)=Pr(-S<-t$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$distribusi ditampilkan dalam warna hitam. (Karena simetris di sekitar , , sehingga cukup untuk melihat ekor negatif.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

Ketika tumbuh lebih besar, CDF tumbuh lebih dekat ke garis referensi.$b$

Mengkarakterisasi dan mengkuantifikasi kelengkungan ini akan membutuhkan analisis yang lebih baik dari perkiraan Normal untuk varian Binomial.

Kualitas perkiraan fungsi Bessel menjadi lebih jelas pada bagian yang diperbesar ini (di sudut kanan atas setiap plot). Kami sudah cukup jauh ke buntut. Meskipun skala vertikal logaritmik dapat menyembunyikan perbedaan besar, jelas pada saat telah mencapai aproksimasi baik untuk .500 | S | < a $a$$500$$|S| \lt a\sqrt{b}$

---

Kode R untuk Menghitung Distribusi$S$

Berikut ini akan memakan waktu beberapa detik untuk dieksekusi. (Menghitung beberapa juta probabilitas untuk 36 kombinasi dan .) Pada mesin yang lebih lambat, hilangkan nilai satu atau dua yang lebih besar dari dan dan tingkatkan batas plot yang lebih rendah dari menjadi sekitar .b 10 - 300 10 - $a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Komentar: Saya mengedit judul dalam upaya untuk mencerminkan dengan lebih baik rv jenis apa yang dipertimbangkan dalam pertanyaan. Siapa pun merasa bebas untuk mengedit kembali.

Motivasi: Saya kira tidak perlu puas dengan batas atas, jika kita dapat memperoleh distribusi. ( PEMBARUAN : Kami tidak dapat melihat komentar dan jawaban Whuber).$|S_{ab}|$

Mendenotasikan . Sangat mudah untuk memverifikasi bahwa 's memiliki distribusi yang sama dengan ' s dan 's. Fungsi pembangkit momen adalahZ X $Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Selain itu, adalah, untuk mulai dengan, pair-wise independent: Variabel (indeks bisa berupa apa saja), memiliki dukungan dengan probabilitas yang sesuai . Fungsi pembangkit momennya adalahW = Z 1 + Z 2 { - 2 , 0 , 2 } { 1 / 4 , 1 / 2 , 1 / 4 $Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

Saya akan mencoba untuk mencurigai bahwa kemerdekaan penuh berlaku, sebagai berikut (apakah sudah jelas bagi yang lebih bijaksana?): Untuk bagian ini, tunjukkan . Kemudian dengan aturan rantai P [ Z a b , . . . , Z 11 ] = P [ Z a b | Z a , b - 1 , . . . , Z 11 ] ⋅ . . . ⋅ P [ Z 13 ∣ Z 12 , Z 11 ] ⋅ P $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

Dengan kemandirian berpasangan, kita memiliki . Pertimbangkan . dan bersyarat independen pada jadi kami memiliki persamaan kedua dengan independensi pasangan. Tapi ini menyiratkan hal ituP [ Z 13 , Z 12 ∣ Z 11 ] Z 13 Z 12 Z 11 P [ Z 13 ∣ Z 12 , Z 11 ] = P [ Z 13 ∣ Z 11 ] = P [ Z 13$P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

Dll (saya pikir). ( PEMBARUAN : Saya kira salah . Kemandirian mungkin berlaku untuk triplet apa pun, tetapi tidak untuk keseluruhannya. Jadi yang berikut hanyalah derivasi dari distribusi jalan acak sederhana, dan bukan jawaban yang benar untuk pertanyaan - lihat Wolfies 'dan Jawaban Whuber).

Jika memang kemerdekaan penuh benar-benar berlaku, kita memiliki tugas untuk memperoleh distribusi sejumlah iid dichotomous rv's

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

yang terlihat seperti jalan acak sederhana , meskipun tanpa interpretasi yang jelas dari yang terakhir sebagai urutan.

Jika dukungan akan menjadi bilangan bulat genap dalam termasuk nol, sedangkan jika , dukungan akan menjadi bilangan bulat ganjil dalam , tanpa nol. S [ - a b , . . . , Sebuah b ] a b = o d d S [ - a b , . . . , A b $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

Kami memperlakukan kasus . Melambangkan sebagai angka mengambil nilai . Maka dukungan dapat dituliskan . Untuk setiap diberikan , kita memperoleh nilai unik untuk . Selain itu, karena probabilitas simetris dan kemandirian (atau hanya pertukaran?), Semua kemungkinan realisasi bersama dari -variables dapat dilengkapi. Jadi kami menghitung dan kami menemukan bahwa fungsi massa probabilitas adalah,$ab=odd$
$m$$Z$$-1$$S$$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

Mendefinisikan , dan nomor ganjil berdasarkan konstruksi, dan elemen khas dari dukungan , kami memiliki$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Pindah ke, karena jika , distribusi simetris di sekitar nol tanpa mengalokasikan massa probabilitas ke nol, sehingga distribusidiperoleh dengan "melipat" grafik kerapatan di sekitar sumbu vertikal, pada dasarnya menggandakan probabilitas untuk nilai positif,$|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Maka fungsi distribusinya adalah

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Oleh karena itu, untuk setiap nyata , , kita memperoleh probabilitas yang diperlukan $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

Perhatikan bahwa indikasi jaminan bahwa jumlah hanya akan berjalan hingga nilai yang termasuk dalam dukungan- misalnya, jika kita menetapkan , masih akan menjalankan hingga , karena itu dibatasi menjadi aneh, di atas menjadi bilangan bulat.$i=odd$$|S|$$t=10.5$$i$$9$

Bukan jawaban, tapi komentar tentang jawaban menarik Alecos yang terlalu panjang untuk dimasukkan ke dalam kotak komentar.

Biarkan menjadi variabel acak Rademacher independen, dan biarkan menjadi variabel acak Rademacher independen. Alecos mencatat bahwa:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

"... terlihat seperti jalan acak sederhana ". Jika itu seperti jalan acak sederhana, maka distribusi akan simetris 'berbentuk lonceng unimodal' sekitar 0.$S$

Untuk mengilustrasikan bahwa itu bukan jalan acak sederhana, berikut adalah perbandingan cepat dari Monte Carlo:

• titik segitiga: simulasi Monte Carlo dari PMF dari diberikan dana = 5 b = $S$$a = 5$$b = 7$
• titik bulat: simulasi Monte Carlo dari jalan acak sederhana dengan langkah$n = 35$

Jelas, bukan jalan acak sederhana; juga perhatikan bahwa S tidak didistribusikan pada semua bilangan bulat genap (atau ganjil).$S$

Monte Carlo

Berikut adalah kode (dalam Mathematica ) yang digunakan untuk menghasilkan satu iterasi tunggal dari jumlah , diberikan dan :a $S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Kemudian, 500.000 jalur seperti itu, katakan ketika dan , dapat dihasilkan dengan:b = $a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

Domain dukungan untuk kombinasi dan ini adalah:$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}