Mengapa konvolusi bekerja?

Jadi saya tahu bahwa jika kita ingin menemukan distribusi probabilitas dari sejumlah variabel acak independen , kita dapat menghitungnya dari distribusi probabilitas dan , dengan mengatakan $X + Y$ $X$ $Y$

f_{X + Y} (a) = \int_{x = - \infty}^{\infty} f_{X, Y} (X = x, Y = a - x) d x = \int_{x = - \infty}^{\infty} f_{X} (x) f_{Y} (a - x) d x

$f_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x = -\infty}^{\infty} f_X(x) f_Y(a - x)~dx$

Secara intuitif, ini masuk akal, karena jika kita ingin menemukan probabilitas bahwa dua variabel acak dijumlahkan , pada dasarnya jumlah probabilitas semua peristiwa yang mengarah pada variabel-variabel tersebut menjumlahkan . Tetapi bagaimana saya bisa membuktikan pernyataan ini secara formal? $a$ $a$

probability

— Jessica
sumber

Pertanyaan yang sedikit berbeda, tetapi jawabannya serupa .

— Carl

Jawaban:

Solusi yang lebih umum mempertimbangkan mana dan belum tentu independen. Strategi solusi umum untuk masalah di mana Anda bertanya-tanya dari mana datangnya PDF atau bagaimana membenarkannya, adalah menemukan kumulatif sebagai gantinya, kemudian bedakan untuk mengurangi CDF menjadi PDF. $Z = X + Y$ $X$ $Y$

Sangat mudah untuk melihat bahwa dalam kasus itu mana adalah wilayah dari - pesawat yang . $F_Z(z) = \mathrm{P}(Z \leq z) = \int \int_R f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y$ $R$ $x$ $y$ $x + y \leq z$

Ini adalah wilayah berwarna biru pada diagram di bawah ini. Wajar untuk berintegrasi di wilayah ini dengan memecahnya menjadi strip - Saya telah melakukannya dengan strip vertikal tetapi yang horizontal akan melakukannya. Secara efektif saya berakhir dengan strip untuk setiap koordinat , mulai dari hingga , dan di sepanjang setiap strip saya ingin nilai tidak naik di atas garis , jadi . $x$ $-\infty$ $\infty$ $y$ $x + y = z$ $y \leq z - x$

z <x + y

Sekarang kita telah memperoleh batas integrasi dalam hal dan , kita dapat membuat substitusi , sebagai berikut, dengan tujuan membuat muncul sebagai batas atas . Matematika itu sederhana selama Anda memahami penggunaan Jacobian untuk mengubah variabel. $x$ $y$ $u=x$ $v=x+y$ $z$ $v$

F_{Z} (z) = \int_{x = - \infty}^{x = \infty} \int_{y = - \infty}^{y = z - x} f_{X, Y} (x, y) d x d y = \int_{v = - \infty}^{v = z} \int_{u = - \infty}^{y = \infty} f_{X, Y} (u, v - u) d u d v

$F_Z(z) = \int_{x = -\infty}^{x=\infty}\int_{y=-\infty}^{y=z-x}f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int_{v = -\infty}^{v=z}\int_{u=-\infty}^{y=\infty}f_{X,Y}(u,v-u)\,\mathrm{d}u\,\mathrm{d}v$

Selama kondisi tertentu terpenuhi kita dapat membedakan di bawah tanda integral sehubungan dengan untuk mendapatkan: $z$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X, Y} (u, z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_{X,Y}(u, z-u)\,\mathrm{d}u$

Itu bekerja bahkan jika dan tidak independen. Tetapi jika mereka, kita dapat menulis ulang kepadatan bersama sebagai produk dari dua yang marjinal: $X$ $Y$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X} (u) f_{Y} (z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_X(u)f_Y(z-u)\,\mathrm{d}u$

Dummy variabel bisa tanpa membahayakan ditulis sebagai jika diinginkan. $u$ $x$

Notasi saya untuk integral persis mengikuti Bagian 6.4 dari Geoffrey Grimmett dan Dominic Walsh, Probabilitas: An Pendahuluan , Oxford University Press, New York, 2000.

— Gegat
sumber

+1 Sebagai soal notasi, konvensi adalah bahwa diferensial di luar integral ganda berlaku untuk integral luar; dengan demikian, dalam ekspresi bentuk integrasi sehubungan dengan dilakukan terlebih dahulu - itu adalah integral dalam - dan yang berkaitan dengan dilakukan terakhir - itu adalah integral luar. Ini membuat kita bebas untuk menempatkan tanda kurung tanpa mengubah artinya, seperti di .

\iint \dots d x d y

$\iint \cdots \mathrm{d}x\,\mathrm{d} y$

x

$x$

y

$y$

\int (\int \dots d x) d y

$\int\left(\int \cdots \mathrm{d}x\right)\mathrm{d}y$

— whuber

@whuber, memikirkannya, tentu saja itu adalah konvensi yang diterapkan di hampir setiap buku teks yang saya tahu (sehingga beberapa integrasi secara efektif bersarang integral). Tetapi membolak-balik, Grimmett dan Welsh "Probability: An Introduction" benar-benar konsisten dengan konvensi mereka sendiri dari urutan kiri-kanan yang sama untuk batas dan perbedaan, misalnya mereka memberikan !

\int_{u} \int_{v} \int_{w} . . . d u d v d w

$\int_u \int_v \int_w ... du\,dv\,dw$

— Silverfish

Saya selalu terhibur dengan bagaimana, di persimpangan banyak bidang, kita dihadapkan pada konvensi yang saling bertentangan. Ini adalah salah satu kesenangan bekerja dengan orang-orang dari latar belakang yang berbeda.

— whuber

@whuber Saya sadar bahwa konvensi untuk menetapkan integral sangat bervariasi di antara negara - Anda akan menikmati ini dari Tex SE tex.stackexchange.com/a/88961/25866 dan saya berharap itu diperluas untuk mencakup beberapa integrasi!

— Silverfish

Pernyataan ini benar jika dan hanya jika sisi kanan bertindak seperti kepadatan untuk ; itu adalah, $X+Y$

F_{X + Y} (a) = P (X + Y \leq a) = \int_{- \infty}^{a} f_{X + Y} (z) d z = \int_{- \infty}^{a} (\int f_{X} (x) f_{Y} (z - x) d x) d z

$F_{X+Y}(a)=\mathbb{P}(X+Y\le a) = \int_{-\infty}^a f_{X+Y}(z)\,\mathrm{d}z = \int_{-\infty}^a \left(\int f_X(x) f_Y(z-x)\,\mathrm{d}x\right)\mathrm{d}z$

untuk semua . Mari kita verifikasi ini dengan mulai dengan sisi kanan. $a$

Terapkan Teorema Fubini untuk mengubah urutan integrasi dan membuat substitusi . Penentu Jacobiannya adalah , jadi tidak ada istilah tambahan yang diperkenalkan oleh perubahan variabel ini. Perhatikan bahwa karena dan berada dalam korespondensi satu-ke-satu dan jika dan hanya jika , kita dapat menulis ulang integral sebagai $z = x+y$ $1$ $z$ $y$ $-\infty \lt z \le a$ $-\infty \lt y \lt a-x$

= \int (\int_{- \infty}^{a - x} f_{X} (x) f_{Y} (y) d y) d x .

$=\int \left(\int_{-\infty}^{a-x}f_X(x)f_Y(y)\,\mathrm{d} y\right)\mathrm{d}x.$

Menurut definisi ini adalah integral dari dari $\mathbb{R}^2$

= \iint I (x + y \leq a) f_{X} (x) f_{Y} (y) d y d x

$=\iint I(x+y\le a)f_X(x)f_Y(y)\,\mathrm{d}y\,\mathrm{d}x$

di mana adalah fungsi indikator dari satu set. Akhirnya, karena dan adalah independen, untuk semua , mengungkapkan integral sebagai hanya harapan $I$ $X$ $Y$ $f_{(X,Y)}(x,y) = f_X(x)f_Y(y)$ $(x,y)$

= \iint I (x + y \leq a) f_{(X, Y)} (x, y) d y d x = E (I (X + Y \leq a)) = P (X + Y \leq a),

$=\iint I(x+y\le a)f_{(X,Y)}(x,y)\,\mathrm{d}y\,\mathrm{d}x = \mathbb{E}(I(X+Y\le a))=\mathbb{P}(X+Y\le a),$

seperti yang diinginkan.

Lebih umum, bahkan ketika salah satu atau kedua atau tidak memiliki fungsi distribusi, kita masih bisa mendapatkan $X$ $Y$

F_{X + Y} (a) = E_{X} (F_{Y} (a - X)) = E_{Y} (F_{X} (a - Y))

$F_{X+Y}(a) = \mathbb{E}_X\left(F_Y(a-X)\right) = \mathbb{E}_Y\left(F_X(a-Y)\right)$

langsung dari definisi dasar, menggunakan ekspektasi indikator untuk bolak-balik antara probabilitas dan harapan dan mengeksploitasi asumsi independensi untuk memecah perhitungan menjadi ekspektasi terpisah sehubungan dengan dan : $X$ $Y$

\begin{aligned} P (X + Y \leq a) & = E (I (X + Y \leq a)) \\ = E_{X} (E_{Y} (I (X + Y \leq a)) \\ = E_{X} (P_{Y} (Y \leq a - X)) \\ = E_{X} (F_{Y} (a - X)) . \end{aligned}

$\eqalign{ \mathbb{P}(X+Y\le a) &= \mathbb{E}(I(X+Y\le a)) \\ &= \mathbb{E}_X\left(\mathbb{E}_Y(I(X+Y\le a)\right) \\ &= \mathbb{E}_X\left(\mathbb{P}_Y(Y\le a-X)\right) \\ &=\mathbb{E}_X(F_Y(a-X)). }$

Ini termasuk formula biasa untuk variabel acak diskrit, misalnya, meskipun dalam bentuk yang sedikit berbeda dari biasanya (karena dinyatakan dalam istilah CDF daripada fungsi massa probabilitas).

Jika Anda memiliki teorema yang cukup kuat tentang interchanging turunan dan integral, Anda dapat membedakan kedua belah pihak sehubungan dengan untuk mendapatkan kepadatan dalam satu stroke, $a$ $f_{X+Y}$

\begin{aligned} f_{X + Y} (a) & = \frac{d}{d a} F_{X + Y} (a) = E_{X} (\frac{d}{d a} F_{Y} (a - X)) = E_{X} (f_{Y} (a - X)) \\ = \int f_{X} (x) f_{Y} (a - x) d x . \end{aligned}

$\eqalign{ f_{X+Y}(a) &= \frac{\mathrm{d}}{\mathrm{d}a} F_{X+Y}(a) =\mathbb{E}_X\left(\frac{\mathrm{d}}{\mathrm{d}a} F_Y(a-X)\right) = \mathbb{E}_X \left(f_Y(a-X)\right) \\ &= \int f_X(x) f_Y(a-x) \,\mathrm{d} x. }$

— whuber
sumber