Hukum varian total sebagai teorema Pythagoras

Asumsikan $X$ dan memiliki momen kedua terbatas. Dalam ruang Hilbert variabel acak dengan momen terbatas kedua (dengan produk dalam didefinisikan oleh , ), kita dapat menafsirkan sebagai proyeksi dari ke ruang fungsi . $Y$ $T_1,T_2$ $E(T_1T_2)$ $||T||^2=E(T^2)$ $E(Y|X)$ $Y$ $X$

Kita juga tahu bahwa Hukum Total Varians berbunyi

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Apakah ada cara untuk menafsirkan hukum ini dalam hal gambar geometris di atas? Saya telah diberitahu bahwa hukum itu sama dengan Teorema Pythagoras untuk segitiga siku-siku dengan sisi . Saya mengerti mengapa segitiga siku-siku, tetapi tidak bagaimana Teorema Pythagoras menangkap Hukum Varians Total. $Y, E(Y|X), Y-E(Y|X)$

variance conditional-expectation

— renrenthehamster
sumber

Saya berasumsi bahwa Anda merasa nyaman dengan menganggap segitiga siku-siku sebagai makna bahwa dan adalah variabel acak yang tidak berkorelasi . Untuk variabel acak tidak berkorelasi dan , dan jadi jika kita menetapkan $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

dan

sehingga

, kita mendapatkan

Masih menunjukkan bahwa

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

sama dengan

sehingga kita dapat menyatakan kembali

sebagai

yang merupakan rumus total varian.

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

Sudah diketahui bahwa nilai yang diharapkan dari variabel acak adalah , yaitu, . Jadi kita melihat bahwa $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ dari mana , yaitu Misalkan menunjukkan variabel acak

E [SEBUAH] = E [Y - E [Y ∣ X]] = E [Y] - E [E [Y ∣ X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y ∣ X]) = E [(Y - E [Y ∣ X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

sehingga kita dapat menulis

Tetapi,

mana

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y ∣ X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

Sekarang,mengingatbahwa

, distribusi bersyarat dari

memiliki rata-rata

dan juga

Dengan kata lain,

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

sehinggavariabel acak

hanya

. Karenanya,

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
sumber

Y - E (Y | X)

$Y-E(Y|X)$ adalah variabel dengan mean nol. Karenanya

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$ . Sekarang

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$ . Bagian kedua dari jawaban yang tidak terlalu rumit.

— mpiktas

@mpikta Terima kasih. Saya menyadari cara yang lebih singkat untuk mencapai hasil yang diinginkan tetapi selalu mengalami kesulitan menjelaskannya dengan cara yang dapat diikuti oleh para siswa pemula. Secara kebetulan, dalam persamaan terakhir yang Anda tulis, kuantitas di sebelah kanan memiliki eksponen yang salah tempat: kuantitas di dalam kurung kotak yang harus dikuadratkan; itu seharusnya

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$ . Namun terlambat untuk memperbaikinya, kecuali jika moderator setuju.

— Dilip Sarwate

Dilip, many probabilists would correctly interpret @mpiktas's equation as written; the extra set of parentheses are often dropped. Perhaps my eyes are deceiving me, but I think his notation is consistent throughout. I'm happy to help fix things up, if desired, though. :-)

— kardinal

@cardinal I didn't misinterpret mpiktas's writing, and fully understood what he was saying. While I am also used to interpreting

E X

$EX$ or

E X

$\mathbb EX$ as the expected value of

X

$X$ , I always have my doubts about

E X^{2}

$EX^2$ , especially since PEMDAS says nothing about it. Does the expectation have priority over the exponentiation or not? I guess I am just used to the expectation operator to apply to everything inside the square brackets. Please don't edit m[iktas's comment, but if you want to delete everything in this thread from "Incidentally" onwards in my previous comment, please go ahead.

— Dilip Sarwate

I'm sorry, @Dilip. My intention was not to suggest you didn't understand; I knew you had! I also agree that the notation can lend itself to ambiguities and it's good to point them out when they arise! What I meant was that I thought the second equation in the comment (i.e.,

v a r \dots

$var\ldots$ ) made clear the convention that was used henceforth. :-)

— cardinal

Pernyataan:

Teorema Pythagoras mengatakan, untuk elemen apa pun $T_1$ dan $T_2$ dari ruang produk dalam dengan norma-norma yang terbatas sehingga $\langle T_1,T_2\rangle = 0$ ,

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$ Atau dengan kata lain, untuk vektor ortogonal, panjang kuadrat dari jumlah adalah jumlah dari panjang kuadrat.

Kasus Kami:

Dalam kasus kami $T_1 = E(Y|X)$ dan $T_2 = Y - E[Y|X]$ adalah variabel acak, norma kuadrat adalah $||T_i||^2 = E[T_i^2]$ dan produk dalam $\langle T_1,T_2\rangle = E[T_1T_2]$ . Menerjemahkan $(1)$ ke dalam bahasa statistik memberi kita:

\begin{matrix} (2) & E [Y^{2}] = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$ karena

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$ . Kami dapat menjadikan ini lebih seperti Law of Total Variance yang Anda nyatakan jika kami berubah

(2)

$(2)$ oleh...

Mengurangi $(E[Y])^2$ dari kedua sisi, membuat sisi kiri $\operatorname{Var}[Y]$ ,
Memperhatikan di sisi kanan itu $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$ ,
Memperhatikan itu $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

Untuk detail tentang tiga poin ini, lihat posting @ DilipSarwate. Dia menjelaskan semua ini dengan lebih detail daripada saya.

— Taylor
sumber