Generalisasi Hukum Harapan Iterated

43

Saya baru-baru ini menemukan identitas ini:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Saya tentu saja akrab dengan versi sederhana dari aturan itu, yaitu bahwa tetapi saya tidak dapat menemukan pembenaran untuk generalisasi. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Saya akan berterima kasih jika seseorang dapat mengarahkan saya ke referensi yang tidak terlalu teknis untuk fakta itu atau, lebih baik lagi, jika seseorang dapat memberikan bukti sederhana untuk hasil penting ini.

self-study conditional-probability conditional-expectation

— JohnK
sumber

2

Jika

y

$y$ sendiri dikondisikan pada beberapa

x

$x$ maka tidakkah ini akan jatuh keluar dari versi yang lebih sederhana?

— Mehrdad

36

PENGOBATAN INFORMAL

Kita harus ingat bahwa notasi di mana kita mengkondisikan pada variabel acak tidak akurat, meskipun ekonomis, sebagai notasi. Pada kenyataannya kita mengkondisikan pada sigma-aljabar yang dihasilkan oleh variabel-variabel acak ini. Dengan kata lain dimaksudkan untuk berarti . Pernyataan ini mungkin tampak tidak pada tempatnya dalam "Perawatan Informal", tetapi mengingatkan kita bahwa entitas pengkondisian kita adalah kumpulan set (dan ketika kita mengkondisikan pada nilai tunggal, maka ini adalah set tunggal). Dan apa isi set ini? Mereka berisi informasi dengan yang nilai yang mungkin dari variabel acak memasok kami tentang apa yang mungkin terjadi dengan realisasi . $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ $X$ $Y$
Membawa konsep Informasi, memungkinkan kita untuk memikirkan (dan menggunakan) Hukum Ekspektasi Iterasi (kadang-kadang disebut "Properti Menara") dengan cara yang sangat intuitif:
Aljabar-sigma yang dihasilkan oleh dua variabel acak, setidaknya sama sebesar yang dihasilkan oleh satu variabel acak: dalam makna set-theoretic yang tepat. Jadi informasi tentang terkandung dalam setidaknya sama besar dengan informasi yang sesuai dalam . Sekarang, sebagai sindiran notasi, atur dan . Maka LHS dari persamaan yang kita lihat, dapat ditulis $\sigma (X) \subseteq \sigma(X,Z)$ $Y$ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$ Menggambarkan secara verbal ungkapan di atas yang kita miliki: "apa harapan dari {nilai yang diharapkan dari diberikan Informasi } mengingat bahwa kita memiliki informasi yang tersedia hanya ?"

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Bisakah kita "mempertimbangkan" ? Tidak - kami hanya tahu . Tetapi jika kita menggunakan apa yang kita miliki (karena kita diwajibkan oleh ungkapan yang ingin kita selesaikan), maka pada dasarnya kita mengatakan hal-hal tentang bawah operator ekspektasi, yaitu kita mengatakan " ", tidak lebih - kami baru saja kehabisan informasi. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Karenanya

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Jika orang lain tidak, saya akan kembali untuk perawatan formal.

A (sedikit lebih) PENGOBATAN FORMAL

Mari kita lihat bagaimana dua buku yang sangat penting dari teori probabilitas, P. Billingsley's Probability and Measure (3d ed.-1995) dan D. Williams "Probability with Martingales" (1991), membahas masalah membuktikan "Law Of Iterated Expectations":
Billingsley mencurahkan tiga baris untuk bukti. Williams, dan saya kutip, kata

"(Properti Menara) hampir langsung dari definisi harapan bersyarat".

Itu satu baris teks. Bukti Billingsley tidak kalah buram.

Mereka tentu saja benar: sifat penting dan sangat intuitif dari ekspektasi kondisional ini pada dasarnya berasal langsung (dan hampir segera) dari definisi-satu-satunya masalah adalah, saya menduga bahwa definisi ini biasanya tidak diajarkan, atau setidaknya tidak disorot, di luar probabilitas atau mengukur lingkaran teoretis. Tetapi untuk menunjukkan dalam (hampir) tiga baris yang dipegang oleh Hukum Ekspektasi Iterasi, kita membutuhkan definisi ekspektasi bersyarat, atau lebih tepatnya, properti pendefinisiannya .

Biarkan ruang probabilitas , dan variabel acak terintegral . Mari menjadi sub -algebra dari , . Kemudian ada fungsi yang -terukur, dapat diintegrasikan dan (ini adalah properti yang menentukan) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

di mana adalah fungsi indikator dari himpunan . Kita mengatakan bahwa adalah ("versi") ekspektasi bersyarat dari diberikan , dan kami menulis detail penting untuk dicatat di sini adalah bahwa ekspektasi bersyarat itu adalah , memiliki nilai yang diharapkan sama dengan tidak, bukan hanya seluruh , namun di setiap bagian dari . $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Saya akan mencoba sekarang untuk menyajikan bagaimana properti Tower berasal dari definisi ekspektasi bersyarat).

$W$ adalah variabel acak -terukur. Pertimbangkan kemudian beberapa sub -algebra, mengatakan . Kemudian . Jadi, secara analog seperti sebelumnya, kita memiliki harapan bersyarat dari diberikan , katakanlah yang dicirikan oleh $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Karena , persamaan dan memberi kita $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Tapi ini adalah milik mendefinisikan ekspektasi bersyarat dari diberikan . $Y$ $\mathcal H$ Jadi kita berhak menulis Karena kita juga memiliki konstruksi , kami baru saja membuktikan properti Tower, atau bentuk umum dari Hukum Harapan Berulang - dalam delapan baris. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
sumber

6

(+1) Ini adalah cara yang bermanfaat untuk menggambarkan konsep yang abstrak dan sulit. Saya percaya, bahwa frasa "... tidak lebih besar ..." harus "tidak lebih kecil." Lebih baik lagi, bagian itu dapat dibuat lebih jelas dengan menghilangkan yang negatif dan menggunakan konstruksi paralel, seperti pada "Aljabar sigma yang dihasilkan oleh dua variabel setidaknya sama besar dengan yang dihasilkan oleh satu variabel acak ... Jadi informasi tentang mengandung di setidaknya sama besarnya dengan informasi yang sesuai di . "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Terima kasih keduanya, cc @whuber. Ini adalah teorema yang sangat berguna.

— JohnK

@ whuber Terima kasih telah melihat ini -dan untuk sarannya.

— Alecos Papadopoulos

24

Cara saya memahami harapan bersyarat dan mengajar siswa saya adalah sebagai berikut:

harapan bersyarat adalah gambar yang diambil oleh kamera dengan resolusi $E[Y|\sigma(X)]$ $\sigma(X)$

Seperti yang disebutkan oleh Alecos Papadopoulos, notasi lebih tepat daripada . Sepanjang garis kamera, orang dapat menganggap sebagai objek asli, misalnya, lanskap, pemandangan. adalah gambar yang diambil oleh kamera dengan resolusi . Ekspektasi adalah operator rata-rata (operator "kabur"?). Scenary mungkin berisi banyak hal, tetapi gambar yang Anda ambil menggunakan kamera dengan resolusi rendah tentu akan membuat beberapa detail hilang, misalnya, mungkin ada UFO di langit yang dapat dilihat oleh mata telanjang Anda tetapi tidak muncul di gambar yang diambil oleh (iphone 3?) $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$

Jika resolusinya sangat tinggi sehingga , maka gambar ini dapat menangkap setiap detail pemandangan nyata. Dalam hal ini, kita memiliki . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Sekarang, dapat dilihat sebagai: menggunakan kamera lain dengan resolusi (misalnya, iphone 1) yang lebih rendah dari (mis., Iphone 3) dan mengambil gambar pada gambar yang dihasilkan oleh kamera dengan resolusi , maka harus jelas bahwa gambar ini pada gambar harus sama seperti jika Anda awalnya cukup gunakan kamera dengan resolusi rendah pada pemandangan. $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

Ini memberikan intuisi pada . Bahkan intuisi yang sama ini memberi tahu kita bahwa masih. Ini karena: jika foto pertama Anda diambil oleh iphone 1 (yaitu, resolusi rendah), dan sekarang Anda ingin menggunakan kamera yang lebih baik (misalnya, iphone 3) untuk menghasilkan foto lain pada foto pertama, maka tidak mungkin Anda dapat meningkatkan kualitas foto pertama. $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$

— KevinKim
sumber

2

suka! :) penjelasan yang bagus.

— jessica

1

@ jessica Saya senang ini membantu :-) Butuh beberapa saat untuk membuat penjelasan ini

— KevinKim

21

Dalam Law of Iterated Expectation (LIE), , bahwa ekspektasi batin adalah variabel acak yang kebetulan merupakan fungsi , katakanlah , dan bukan merupakan fungsi dari . Bahwa ekspektasi fungsi terjadi sama dengan ekspektasi adalah konsekuensi dari KEBOHONGAN. Semua ini, secara lamban, hanyalah pernyataan bahwa nilai rata-rata dapat ditemukan dengan rata -rata nilai rata-rata dalam berbagai kondisi. Akibatnya, itu semua hanyalah konsekuensi langsung dari hukum probabilitas total. Misalnya, jika dan $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ adalah variabel acak diskrit dengan PMF p_ , lalu \ scriptstyle {\ text {RV} ~ E [Y \ mid X] ~ \ text {memiliki nilai} ~ E [Y \ mid X = x] ~ \ text {when} ~ X = x} \ end {align} Pemberitahuan bagaimana harapan terakhir itu berkenaan dengan ; $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$ adalah fungsi dari , bukan dari , namun demikian rata adalah sama dengan rata-rata .

X

$X$

Y

$Y$

Y

$Y$

LIE umum yang Anda lihat ada di sebelah kiri di mana harapan batin adalah fungsi dari dua variabel acak dan . Argumennya mirip dengan yang diuraikan di atas tetapi sekarang kita harus menunjukkan bahwa variabel acak sama dengan variabel acak lainnya. Kami melakukan ini dengan melihat nilai ketika memiliki nilai . Melompati penjelasan, kita punya itu $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$ Perhatikan bahwa sisi kanan kedua dari belakang adalah rumus untuk nilai yang diharapkan bersyarat dari variabel acakZ] (fungsi dan ) dikondisikan

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$ pada nilai . Kami memperbaiki untuk memiliki nilai , mengalikan nilai dari variabel acak dengan nilai PMF bersyarat dari diberikan , dan menjumlahkan semua istilah tersebut.

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Dengan demikian, untuk setiap nilai dari variabel acak , nilai variabel acak (yang kami catat sebelumnya adalah fungsi , bukan ), sama dengan nilai acak variabel , yaitu, kedua variabel acak ini sama. Apakah saya akan berbohong kepada Anda? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
sumber