Variabel acak seragam sebagai jumlah dari dua variabel acak

Diambil dari Grimmet dan Stirzaker :

Tunjukkan bahwa tidak dapat menjadi kasus bahwa $U=X+Y$ mana terdistribusi secara seragam pada [0,1] dan dan adalah independen dan terdistribusi secara identik. Anda tidak boleh berasumsi bahwa X dan Y adalah variabel kontinu. $U$ $X$ $Y$

Sebuah bukti sederhana dengan mencukupi kontradiksi untuk kasus di mana , diasumsikan diskrit dengan alasan bahwa itu selalu mungkin untuk menemukan dan sehingga sedangkan . $X$ $Y$ $u$ $u'$ $P(U\leq u+u') \geq P(U\leq u)$ $P(X+Y \leq u) = P(X+Y \leq u+u')$

Namun bukti ini tidak mencakup yang benar-benar kontinu atau kontinu tunggal. Petunjuk / Komentar / Kritik? $X,Y$

— hak cipta
sumber

Petunjuk : Fungsi karakteristik adalah teman Anda.

— kardinal

X dan Y adalah iid sehingga fungsi karakteristiknya harus identik. Anda perlu menggunakan fungsi karakteristik bukan fungsi menghasilkan momen - mgf tidak dijamin ada untuk X, jadi menunjukkan mgf memiliki properti yang mustahil tidak berarti tidak ada X seperti itu. Semua RV memiliki fungsi karakteristik, jadi jika Anda menunjukkan bahwa memiliki properti yang mustahil maka tidak ada X.

— Silverfish

Jika distribusi

X

$X$ dan

Y

$Y$ memiliki atom , katakan bahwa

P {X = a} = P {Y = a} = b > 0

$P\{X=a\}=P\{Y=a\} = b > 0$ , maka

P {X + Y = 2 a} \geq b^{2} > 0

$P\{X+Y=2a\} \geq b^2 > 0$ dan kemudian

X + Y

$X+Y$ tidak dapat didistribusikan secara seragam pada

[0, 1]

$[0,1]$ . Dengan demikian, tidak perlu mempertimbangkan kasus distribusi

X

$X$ dan

Y

$Y$ memiliki atom.

— Dilip Sarwate

Jawaban:

Hasilnya dapat dibuktikan dengan gambar: area abu-abu yang terlihat menunjukkan bahwa distribusi seragam tidak dapat didekomposisi sebagai jumlah dari dua variabel independen yang didistribusikan secara identik.

Notasi

Biarkan dan menjadi iid sehingga memiliki distribusi seragam pada . Ini berarti bahwa untuk semua , $X$ $Y$ $X+Y$ $[0,1]$ $0\le a \le b \le 1$

Pr (a < X + Y \leq b) = b - a .

$\Pr(a < X+Y \le b) = b-a.$

Dukungan penting dari distribusi umum dan karena itu (karena jika tidak akan ada kemungkinan positif yang kebohongan luar ). $X$ $Y$ $[0,1/2]$ $X+Y$ $[0,1]$

Gambar

Mari . Renungkan diagram ini yang menunjukkan bagaimana jumlah variabel acak dihitung: $0 \lt \epsilon \lt 1/4$

Distribusi probabilitas yang mendasari adalah yang bersama untuk . Probabilitas dari setiap kejadian diberikan oleh probabilitas total yang tercakup oleh pita diagonal yang membentang di antara garis dan . Tiga band-band seperti ditunjukkan: dari ke , muncul sebagai segitiga biru kecil di kiri bawah; dari untuk $(X,Y)$ $a \lt X+Y \le b$ $x+y=a$ $x+y=b$ $0$ $\epsilon$ $1/2-\epsilon$ , ditampilkan sebagai persegi panjang abu-abu yang ditutup dengan dua segitiga (kuning dan hijau); dan dari ke , muncul sebagai segitiga merah kecil di kanan atas. $1/2+\epsilon$ $1-\epsilon$ $1$

Apa yang Ditunjukkan Gambar

Dengan membandingkan segitiga kiri bawah pada gambar dengan alun-alun kiri bawah yang mengandungnya dan mengeksploitasi asumsi awal untuk dan , jelas bahwa $X$ $Y$

ϵ = Pr (X + Y \leq ϵ) < Pr (X \leq ϵ) Pr (Y \leq ϵ) = Pr (X \leq ϵ)^{2} .

$\epsilon = \Pr(X+Y \le \epsilon) \lt \Pr(X \le \epsilon)\Pr(Y \le \epsilon) = \Pr(X \le \epsilon)^2.$

Perhatikan bahwa ketidaksetaraan itu ketat: kesetaraan tidak mungkin karena ada beberapa kemungkinan positif bahwa dan lebih kecil dari tetapi tetap . $X$ $Y$ $\epsilon$ $X+Y \gt \epsilon$

Demikian pula, membandingkan segitiga merah dengan kuadrat di sudut kanan atas,

ϵ = Pr (X + Y > 1 - ϵ) < Pr (X > 1 / 2 - ϵ)^{2} .

$\epsilon = \Pr(X+Y \gt 1-\epsilon) \lt \Pr(X \gt 1/2-\epsilon)^2.$

Akhirnya, membandingkan dua segitiga yang berlawanan di kiri atas dan kanan bawah dengan pita diagonal yang berisi mereka memberikan ketimpangan yang ketat,

2 ϵ < 2 Pr (X \leq ϵ) Pr (X > 1 / 2 - ϵ) < Pr (1 / 2 - ϵ < X + Y \leq 1 / 2 + ϵ) = 2 ϵ .

$2\epsilon \lt 2 \Pr(X\le \epsilon)\Pr(X \gt 1/2-\epsilon) \lt \Pr(1/2-\epsilon \lt X+Y \le 1/2+\epsilon) = 2\epsilon.$

The terjadi kemudian ketimpangan pertama dari dua sebelumnya (mengambil akar kuadrat dan kalikan mereka) sedangkan yang kedua menggambarkan (ketat) dimasukkannya segitiga dalam band dan kesetaraan terakhir mengungkapkan keseragaman . Kesimpulan bahwa adalah kontradiksi yang membuktikan dan tidak dapat ada, QED . $X+Y$ $2\epsilon \lt 2\epsilon$ $X$ $Y$

— whuber
sumber

(+1) Saya suka pendekatan ini. Memulihkan bagian belakang amplop saya dari keranjang sampah saya bisa melihat saya menggambar diagram yang sama, kecuali bahwa saya tidak menandai pada segitiga kuning dan hijau di dalam pita. Saya memang mendapatkan ketidaksetaraan untuk segitiga biru dan merah. Saya bermain-main dengan mereka dan beberapa probabilitas lainnya, tetapi tidak pernah berpikir untuk menyelidiki kemungkinan strip, yang ternyata menjadi langkah kritis. Saya bertanya-tanya proses pemikiran apa yang memotivasi wawasan ini?

— Silverfish

Bahkan, di mana @whuber memiliki segitiga kuning dan hijau, saya menggambar kotak (saya secara efektif menguraikan

menjadi kotak). Melihat langkah yang "menggambarkan (ketat) dimasukkannya segitiga dalam band",

[0, 0.5]^{2}

$[0, 0.5]^2$

2 Pr (X \leq ϵ) Pr (X > 1 / 2 - ϵ) < Pr (1 / 2 - ϵ < X + Y \leq 1 / 2 + ϵ)

$2 \Pr(X\le \epsilon)\Pr(X \gt 1/2-\epsilon) \lt \Pr(1/2-\epsilon \lt X+Y \le 1/2+\epsilon)$ , Saya bertanya-tanya apakah ini sebenarnya akan secara geometris lebih alami dengan kotak membatasi pita daripada segitiga?

— Silverfish

@Silver Saya teringat analisis jumlah distribusi seragam yang saya pasang beberapa tahun yang lalu. Itu menyarankan memvisualisasikan jumlah

geometris. Itu segera jelas bahwa banyak probabilitas harus terkonsentrasi di dekat sudut-sudut

dan

agar jumlah yang akan seragam dan untuk relatif sedikit probabilitas untuk berada di dekat diagonal pusat

. Itu mengarah ke diagram, yang saya ulangi di Mathematica.

X + Y

$X+Y$

(0, 0)

$(0,0)$

(1 / 2, 1 / 2)

$(1/2,1/2)$

X + Y = 1 / 2

$X+Y=1/2$ Pada saat itu jawabannya menulis sendiri. Ya, menggunakan kotak di pita tengah mungkin lebih rapi.

— whuber

Terima kasih! "Perhatikan bahwa ketidaksetaraan itu ketat: kesetaraan tidak mungkin karena ada beberapa kemungkinan positif bahwa salah satu dari

atau

kurang dari

tetapi tetap

." Saya tidak yakin saya mengikuti ini. Sepertinya saya tujuannya di sini adalah untuk menunjukkan

, tidak ini memerlukan probabilitas yang positif untuk beberapa acara

di mana kedua

dan

X

$X$

Y

$Y$

ϵ

$\epsilon$

X + Y > ϵ

$X+Y \gt \epsilon$

Pr (X + Y \leq ϵ) < Pr (X \leq ϵ \cap Y \leq ϵ)

$\Pr(X+Y \le \epsilon) \lt \Pr(X \le \epsilon \cap Y \le \epsilon)$

A

$A$

X

$X$

kurang dari atau sama dengan

dan belum

? Ini adalah "salah satu dari" vs "keduanya" Saya bimbang.

Y

$Y$

ϵ

$\epsilon$

X + Y > ϵ

$X + Y > \epsilon$

— Silverfish

@Silverfish Terima kasih; Saya tidak mengungkapkan itu seperti yang saya maksudkan. Anda benar: bahasa ini pada dasarnya dimaksudkan untuk menggambarkan bagian persegi kecil yang tidak berada di dalam segitiga.

— whuber

Saya mencoba menemukan bukti tanpa mempertimbangkan fungsi karakteristik. Kelt kurtosis melakukan trik. Inilah jawaban dua baris: karena dan adalah iid. Kemudian menyiratkan yang merupakan kontradiksi dengan $\text{Kurt}(U) = \text{Kurt}(X + Y) = \text{Kurt}(X) / 2$ $X$ $Y$ $\text{Kurt}(U) = -1.2$ $\text{Kurt}(X) = -2.4$ untuk variabel acak apa saja. $\text{Kurt}(X) \geq -2$

Agak lebih menarik adalah garis penalaran yang membuat saya sampai pada titik itu. (dan ) harus dibatasi antara 0 dan 0,5 - yang jelas, tetapi sangat membantu bahwa momen dan momen pusatnya ada. Mari kita mulai dengan mempertimbangkan mean dan varians: dan $X$ $Y$ $\mathbb{E}(U)=0.5$ . Jikadandidistribusikan secara identik, maka kami memiliki: $\text{Var}(U)=\frac{1}{12}$ $X$ $Y$

E (X + Y) = E (X) + E (Y) = 2 E (X) = 0.5

$\mathbb{E}(X + Y) = \mathbb{E}(X) + \mathbb{E}(Y) = 2 \mathbb{E}(X)= 0.5$

Jadi . Untuk varian kami juga perlu menggunakan independensi untuk menerapkan: $\mathbb{E}(X) = 0.25$

Var (X + Y) = Var (X) + Var (Y) = 2 Var (X) = \frac{1}{12}

$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) = 2 \text{Var}(X) = \frac{1}{12}$

Maka dan $\text{Var}(X) = \frac{1}{24}$ . Wow! Itu banyak variasi untuk variabel acak yang dukungannya berkisar dari 0 hingga 0,5. Tetapi kita harus mengharapkan itu, karena standar deviasi tidak akan skala dengan cara yang sama seperti yang dilakukan oleh mean. $\sigma_X = \frac{1}{2\sqrt{6}} \approx 0.204$

Sekarang, apa standar deviasi terbesar yang dapat dimiliki oleh variabel acak jika nilai terkecil yang dapat diambil adalah 0, nilai terbesar yang dapat diambil adalah 0,5, dan rata-rata 0,25? Mengumpulkan semua probabilitas pada dua titik massa pada ekstrem, 0,25 dari rata-rata, jelas akan memberikan standar deviasi 0,25. Jadi kita besar tetapi bukan tidak mungkin. (Saya berharap untuk menunjukkan bahwa ini menyiratkan probabilitas terlalu banyak terletak pada ekor untuk menjadi seragam, tetapi saya tidak bisa mendapatkan apa pun dengan itu di belakang amplop.) $\sigma_X$ $X + Y$

Pertimbangan momen kedua hampir menempatkan kendala yang tidak mungkin pada jadi mari kita pertimbangkan momen yang lebih tinggi. Bagaimana dengan koefisien kemiringan momen Pearson , $X$ ? Ini ada sejak momen sentral ada dan. Sangat membantu untuk mengetahui beberapa sifat dari kumulans, khususnya menerapkan independensi dan kemudian memberikan distribusi yang identik: $\gamma_1 = \frac{\mathbb{E}(X - \mu_X)^3}{\sigma_X^3} = \frac{\kappa_3}{\kappa_2^{3/2}}$ $\sigma_X \neq 0$

κ_{i} (U) = κ_{i} (X + Y) = κ_{i} (X) + κ_{i} (Y) = 2 κ_{i} (X)

$\kappa_i(U) = \kappa_i(X + Y) = \kappa_i(X) + \kappa_i(Y) = 2\kappa_i(X)$

Properti aditivitas ini adalah generalisasi dari bagaimana kita berurusan dengan mean dan varians di atas - memang, kumulan pertama dan kedua hanya dan . $\kappa_1 = \mu$ $\kappa_2 = \sigma^2$

Then $\kappa_3(U) = 2\kappa_3(X)$ and $\big(\kappa_2(U)\big)^{3/2} = \big(2\kappa_2(X)\big)^{3/2} = 2^{3/2} \big(\kappa_2(X)\big)^{3/2}$ . The fraction for $\gamma_1$ cancels to yield $\text{Skew}(U) = \text{Skew}(X + Y) = \text{Skew}(X) / \sqrt{2}$ $X$

$\gamma_2 = \frac{\kappa_4}{\kappa_2^2} = \frac{\mathbb{E}(X - \mu_X)^4}{\sigma_X^4} - 3$ . By a similar argument (this question is self-study, so try it!), we can show this exists and obeys:

Kurt (U) = Kurt (X + Y) = Kurt (X) / 2

$\text{Kurt}(U) = \text{Kurt}(X + Y) = \text{Kurt}(X) / 2$

The uniform distribution has excess kurtosis $-1.2$ so we require $X$ to have excess kurtosis $-2.4$ . But the smallest possible excess kurtosis is $-2$ , which is achieved by the $\text{Binomial}(1, \frac{1}{2})$ Bernoulli distribution.

— Silverfish
sumber

(+1) This is a quite clever approach, which was new to me. Thanks. Note that some of your analysis could have been streamlined by considering a uniform centered at zero. (The equivalence of the problem is immediate.) That would have immediately told you that considering skew was a dead-end.

— cardinal

@cardinal: I knew the skew was a dead-end before I worked on it. The purpose was expository: it's a self-study question so I didn't want to solve it in full! Rather I wanted to leave a hint on how to deal with the next level up...

— Silverfish

@cardinal: I was in two minds whether to center or not. I did back-of-envelope calculations more conveniently, but in the final analysis we just need (1) a simple case of the general result that

K u r t (X_{1} + . . . + X_{n}) = \frac{1}{n} K u r t (X)

$Kurt(X_1 + ... + X_n) = \frac{1}{n}Kurt(X)$ for iid

X_{i}

$X_i$ , (2) that

K u r t (U) = - 1.2

$Kurt(U) = -1.2$ for any uniform distribution, and (3)

K u r t (X)

$Kurt(X)$ exists since

X

$X$ is bounded and

σ_{X} \neq 0

$\sigma_X \neq 0$ (which is trivial, else

σ_{U} = 0

$\sigma_U = 0$ ). So none of the key results actually required centering, though bits may have looked less ugly!

— Silverfish

Yes, the word "streamlined" was carefully chosen. :-) I did not intend my comment to be read as criticism of your exposition. Cheers.

— cardinal

@cardinal Incidentally, variance considerations alone almost worked, but the uniform isn't quite spread out enough. With a bit more probability mass nearer the extremes, e.g.

f_{T} (t) = 12 t^{2}

$f_T(t)=12t^2$ on [-0.5, 0.5], then

V a r (T) = .15

$Var(T)=.15$ and if

T = X_{1} + X_{2}

$T = X_1 + X_2$ then

σ_{X} = \sqrt{.15 / 2} \approx 0.27 > 0.25

$\sigma_X = \sqrt{.15/2} \approx 0.27 > 0.25$ which is impossible as

X

$X$ is bounded by -0.25 and 0.25. Of course, you will see immediately how this relates to the present example! I wonder if the approach generalises, I'm sure other bounded RVs can't be decomposed into sums but require even higher moments investigated to find the contradiction.

— Silverfish