Intuisi (geometris atau lainnya) dari

18

Pertimbangkan identitas dasar varian:

\begin{array}{rcl} V a r (X) & = & E [(X - E [X])^{2}] \\ = & . . . \\ = & E [X^{2}] - (E [X])^{2} \end{array}

$\begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray}$

Ini adalah manipulasi aljabar sederhana dari definisi momen sentral menjadi momen non-sentral.

Ini memungkinkan manipulasi yang mudah dari dalam konteks lain. Ini juga memungkinkan perhitungan varians melalui data single pass over daripada dua pass, pertama untuk menghitung rata-rata, dan kemudian untuk menghitung varians. $Var(X)$

Tapi apa artinya ? Bagi saya tidak ada intuisi geometris langsung yang berhubungan dengan penyebaran tentang mean untuk menyebar sekitar 0. Karena adalah himpunan pada dimensi tunggal, bagaimana Anda melihat penyebaran di sekitar rata-rata sebagai perbedaan antara penyebaran di sekitar asal dan kuadrat dari berarti? $X$

Adakah interpretasi aljabar linier yang baik atau interpretasi fisik atau lainnya yang akan memberikan wawasan tentang identitas ini?

variance descriptive-statistics intuition

— Mitch
sumber

7

Petunjuk: ini adalah Teorema Pythagoras.

— whuber

1

@ Matius Saya bertanya-tanya apa yang dimaksudkan dengan " ". Saya menduga itu bukan harapan, tetapi hanya singkatan untuk aritmatika. Kalau tidak, persamaannya akan salah (dan hampir tidak berarti, karena mereka kemudian akan menyamakan variabel acak dengan angka).

E

$E$

— whuber

2

@whuber Karena produk dalam memperkenalkan ide jarak dan sudut, dan produk dalam dari ruang vektor variabel acak bernilai nyata didefinisikan sebagai (?), saya ingin tahu apakah beberapa intuisi geometri dapat diberikan melalui ketimpangan segitiga. Saya tidak tahu bagaimana melanjutkan, tetapi saya bertanya-tanya apakah itu masuk akal.

E [X Y]

$\mathbb E[XY]$

— Antoni Parellada

1

@Antoni Ketimpangan segitiga terlalu umum. Produk dalam adalah objek yang jauh lebih istimewa. Untungnya, intuisi geometris yang tepat adalah tepat dari geometri Euclidean. Selain itu, bahkan dalam kasus variabel acak dan , geometri yang diperlukan dapat dibatasi pada ruang vektor nyata dua dimensi yang dihasilkan oleh dan : yaitu, pada bidang Euclidean itu sendiri. Dalam contoh ini tidak tampak sebagai RV: itu hanya vektor. Di sini, ruang yang direntang oleh dan adalah bidang Euclidean tempat semua geometri terjadi.

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

n

$n$

X

$X$

(1, 1, \dots, 1)

$(1,1,\ldots, 1)$

— whuber

3

Menyetel pada balasan yang saya , dan membagi semua istilah dengan (jika Anda mau) akan memberi Anda solusi aljabar lengkap untuk varians: tidak ada alasan untuk menyalinnya lagi. Itu karena adalah rata-rata aritmatika dari , di mana hanya kali varians seperti yang telah Anda tetapkan di sini, adalah kali rata-rata aritmatika kuadrat, dan adalah kali rata-rata aritmatika dari nilai kuadrat.

{\hat{β}}_{1} = 0

$\hat\beta_1=0$

n

$n$

{\hat{β}}_{0}

$\hat\beta_0$

y

$y$

| | y - \hat{y} | |^{2}

$||y-\hat y||^2$

n

$n$

| | \hat{y} | |^{2}

$||\hat y||^2$

n

$n$

| | y | |^{2}

$||y||^2$

n

$n$

— whuber

21

Memperluas pada titik @ whuber dalam komentar, jika dan adalah ortogonal, Anda memiliki Teorema Pythagoras : $Y$ $Z$

‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2}

$\|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2$

Perhatikan bahwa adalah produk dalam yang valid dan bahwa adalah norma yang disebabkan oleh produk dalam itu . $\langle Y, Z \rangle \equiv \mathrm{E}[YZ]$ $\|Y\| = \sqrt{\mathrm{E}[Y^2]}$

Biarkan menjadi beberapa variabel acak. Biarkan , Misalkan . Jika dan bersifat ortogonal: $X$ $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $Y$ $Z$

\begin{aligned} ‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2} \\ \Leftrightarrow & E [E [X]^{2}] + E [(X - E [X])^{2}] = E [X^{2}] \\ \Leftrightarrow & {E [X]}^{2} + V a r [X] = E [X^{2}] \end{aligned}

$\begin{align*} & \|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2 \\ \Leftrightarrow \quad&\mathrm{E}[\mathrm{E}[X]^2] + \mathrm{E}[(X - \mathrm{E}[X])^2] = \mathrm{E}[X^2] \\ \Leftrightarrow \quad & \mathrm{E[X]}^2 + \mathrm{Var}[X]= \mathrm{E}[X^2] \end{align*}$

Dan sangat mudah untuk menunjukkan bahwa dan adalah orthogonal bawah produk dalam ini: $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$

⟨ Y, Z ⟩ = E [E [X] (X - E [X])] = E [X]^{2} - E [X]^{2} = 0

$\langle Y, Z \rangle = \mathrm{E}[\mathrm{E}[X]\left(X - \mathrm{E}[X] \right)] = \mathrm{E}[X]^2 - \mathrm{E}[X]^2 = 0$

Salah satu kaki dari segitiga adalah , kaki yang lain adalah , dan sisi miring adalah . Dan teorema Pythagoras dapat diterapkan karena variabel acak yang direndahkan adalah ortogonal terhadap rata-ratanya. $X - \mathrm{E}[X]$ $\mathrm{E}[X]$ $X$

Komentar teknis:

$Y$ dalam contoh ini benar-benar harus menjadi vektor , yaitu skalar dikalikan vektor konstanta (misalnya dalam kasus hasil diskrit dan terbatas). adalah proyeksi vektor dari ke konstan vektor . $Y = \mathrm{E}[X] \mathbf{1}$ $\mathrm{E}[X]$ $\mathbf{1}$ $\mathbf{1} = [1, 1, 1, \ldots, 1]'$ $Y$ $X$ $\mathbf{1}$

Contoh sederhana

Pertimbangkan kasus di mana adalah variabel acak Bernoulli di mana . Kita punya: $X$ $p = .2$

X = [\begin{matrix} 1 \\ 0 \end{matrix}] P = [\begin{matrix} .2 \\ .8 \end{matrix}] E [X] = \sum_{i} P_{i} X_{i} = .2

$X = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad P = \begin{bmatrix} .2 \\ .8 \end{bmatrix} \quad \mathrm{E}[X] = \sum_i P_iX_i = .2$

Y = E [X] 1 = [\begin{matrix} .2 \\ .2 \end{matrix}] Z = X - E [X] = [\begin{matrix} .8 \\ - .2 \end{matrix}]

$Y = \mathrm{E}[X]\mathbf{1} = \begin{bmatrix} .2 \\ .2 \end{bmatrix} \quad Z = X - \mathrm{E}[X] = \begin{bmatrix} .8 \\ -.2 \end{bmatrix}$

Dan gambarnya adalah:

Besarnya kuadrat dari vektor merah adalah varian , besarnya kuadrat dari vektor biru adalah , dan besarnya kuadrat dari vektor kuning adalah . $X$ $\mathrm{E}[X]^2$ $\mathrm{E}[X^2]$

INGATLAH bahwa besaran-besaran ini, ortogonalitas, dll ... tidak berkaitan dengan produk titik biasa tetapi produk dalam . Besarnya vektor kuning bukan 1, melainkan .2. $\sum_i Y_iZ_i$ $\sum_i P_iY_iZ_i$

Vektor merah dan vektor biru tegak lurus di bawah produk dalam tetapi mereka tidak tegak lurus di intro, rasa geometri sekolah menengah. Ingat kita tidak menggunakan produk titik biasa sebagai produk dalam! $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $\sum_i P_i Y_i Z_i$ $\sum_i Y_i Z_i$

— Matthew Gunn
sumber

Itu sangat bagus!

— Antoni Parellada

1

Jawaban yang bagus (+1), tetapi tidak memiliki angka, dan mungkin juga agak membingungkan untuk OP karena Z Anda adalah X ...

— amoeba mengatakan Reinstate Monica

@ MatthewGunn, jawaban bagus. Anda dapat memeriksa jawaban saya di bawah ini untuk representasi di mana ortogonalitas dalam arti Euclidean.

— YBE

Aku benci menjadi tumpul, tapi aku kesulitan menjaga , , dan arah logika lurus ('karena' datang di tempat-tempat yang tidak masuk akal bagiku). Rasanya seperti banyak fakta (yang dibuktikan dengan baik) dinyatakan secara acak. Apa ruang dalam produk dalam? Kenapa 1 ?

Z

$Z$

V a r (X)

$Var(X)$

— Mitch

@Mitch Urutan logisnya adalah: (1) Perhatikan bahwa ruang probabilitas mendefinisikan ruang vektor; kita dapat memperlakukan variabel acak sebagai vektor. (2) Tentukan produk dalam variabel acak dan sebagai . Dalam ruang produk dalam, vektor dan didefinisikan sebagai ortogonal jika produk dalam mereka nol. (3a) Misalkan adalah variabel acak. (3b) Misalkan dan . (4) Amati bahwa dan didefinisikan dengan cara ini adalah ortogonal. (5) Karena dan

Y

$Y$

Z

$Z$

E [Y Z]

$E[YZ]$

Y

$Y$

Z

$Z$

X

$X$

Y = E [X]

$Y = E[X]$

Z = X - E [X]

$Z = X - E[X]$

Y

$Y$

Z

$Z$

Y

$Y$

Z

$Z$ bersifat ortogonal, teorema pythagoras berlaku (6) Dengan aljabar sederhana, teorema Pythagoras setara dengan identitas.

— Matthew Gunn

7

Saya akan menggunakan pendekatan geometris murni untuk skenario yang sangat spesifik. Mari kita pertimbangkan variabel acak bernilai mengambil nilai dengan probabilitas . Kami selanjutnya akan mengasumsikan bahwa variabel acak ini dapat direpresentasikan dalam sebagai vektor, . $X$ $\{x_1,x_2\}$ $(p_1,p_2)$ $\mathbb{R}^2$ $\mathbf{X} = \left(x_1\sqrt{p_1},x_2\sqrt{p_2} \right)$

Perhatikan bahwa kuadrat panjang adalah yang sama dengan . Jadi, . $\mathbf{X}$ $x_1^2p_1+x_2^2p_2$ $E[X^2]$ $\left\| \mathbf{X} \right\| = \sqrt{E[X^2]}$

Karena , ujung vektor sebenarnya melacak elips. Ini menjadi lebih mudah untuk melihat apakah seseorang mengulangi dan sebagai dan . Karenanya, kami memiliki dan . $p_1+p_2=1$ $\mathbf{X}$ $p_1$ $p_2$ $\cos^2(\theta)$ $\sin^2(\theta)$ $\sqrt{p_1} =\cos(\theta)$ $\sqrt{p_2} = \sin(\theta)$

Salah satu cara menggambar elips adalah melalui mekanisme yang disebut Trammel of Archimedes . Seperti dijelaskan dalam wiki: Ini terdiri dari dua angkutan yang terbatas ("trammelled") ke saluran atau rel tegak lurus, dan sebuah batang yang dilekatkan ke angkutan oleh pivot pada posisi tetap di sepanjang batang. Saat antar-jemput bergerak bolak-balik, masing-masing di sepanjang salurannya, ujung batang bergerak di jalur elips. Prinsip ini diilustrasikan dalam gambar di bawah ini.

Sekarang mari kita secara geometris menganalisis satu instance dari trammel ini ketika shuttle vertikal berada di dan shuttle horisontal berada di membentuk sudut . Karena konstruksi, dan , (di sini diasumsikan wlog). $A$ $B$ $\theta$ $\left|BX\right| = x_2$ $\left| AB \right| = x_1-x_2$ $\forall \theta$ $x_1\geq x_2$

Mari kita menggambar garis dari asal, , yang tegak lurus terhadap batang. Satu dapat menunjukkan bahwa . Untuk variabel acak spesifik ini Oleh karena itu, jarak tegak lurusdari asal ke batang sebenarnya sama dengan standar deviasi, . $OC$ $\left| OC \right|=(x_1-x_2) \sin(\theta) \cos(\theta)$

\begin{array}{rcl} V a r (X) & = & (x_{1}^{2} p_{1} + x_{2}^{2} p_{2}) - (x_{1} p_{1} + x_{2} p_{2})^{2} \\ = & x_{1}^{2} p_{1} + x_{2}^{2} p_{2} - x_{1}^{2} p_{1}^{2} - x_{2}^{2} p_{2}^{2} - 2 x_{1} x_{2} p_{1} p_{2} \\ = & x_{1}^{2} (p_{1} - p_{1}^{2}) + x_{2}^{2} (p_{2} - p_{2}^{2}) - 2 x_{1} x_{2} p_{1} p_{2} \\ = & p_{1} p_{2} (x_{1}^{2} - 2 x_{1} x_{2} + x_{2}^{2}) \\ = & {[(x_{1} - x_{2}) \sqrt{p_{1}} \sqrt{p_{2}}]}^{2} = {| O C |}^{2} \end{array}

$\begin{eqnarray} Var(X) &=& (x_1^2p_1 +x_2^2p_2) - (x_1p_1+x_2p_2)^2 \\ &=& x_1^2p_1 +x_2^2p_2 - x_1^2p_1^2 - x_2^2p_2^2 - 2x_1x_2p_1p_2 \\ &=& x_1^2(p_1-p_1^2) + x_2^2(p_2-p_2^2) - 2x_1x_2p_1p_2 \\ &=& p_1p_2(x_1^2- 2x_1x_2 + x_2^2) \\ &=& \left[(x_1-x_2)\sqrt{p_1}\sqrt{p_2}\right]^2 = \left|OC \right|^2 \end{eqnarray}$

| O C |

$\left|OC \right|$

σ

$\sigma$

Jika kita menghitung panjang segmen dari ke : $C$ $X$

\begin{array}{rcl} | C X | & = & x_{2} + (x_{1} - x_{2}) \cos^{2} (θ) \\ = & x_{1} \cos^{2} (θ) + x_{2} \sin^{2} (θ) \\ = & x_{1} p_{1} + x_{2} p_{2} = E [X] \end{array}

$\begin{eqnarray} \left|CX\right| &=& x_2 + (x_1-x_2)\cos^2(\theta) \\ &=& x_1\cos^2(\theta) +x_2\sin^2(\theta) \\ &=& x_1p_1 + x_2p_2 = E[X] \end{eqnarray}$

Menerapkan Teorema Pythagoras dalam segitiga OCX, kita berakhir dengan

E [X^{2}] = V a r (X) + E [X]^{2} .

$\begin{equation} E[X^2] = Var(X) + E[X]^2. \end{equation}$

Untuk meringkas , untuk trammel yang menggambarkan semua variabel acak yang mungkin dinilai bernilai mengambil nilai , adalah jarak dari titik asal ke ujung mekanisme dan standar deviasi adalah jarak tegak lurus ke batang. $\{x_1,x_2\}$ $\sqrt{E[X^2]}$ $\sigma$

Catatan : Perhatikan bahwa ketika adalah atau , sepenuhnya deterministik. Ketika adalah kita berakhir dengan varians maksimum. $\theta$ $0$ $\pi/2$ $X$ $\theta$ $\pi/4$

— YBE
sumber

1

+1 Jawaban yang bagus. Dan mengalikan vektor dengan kuadrat probabilitas adalah trik keren / berguna untuk membuat gagasan probabilistik biasa tentang ortogonalitas terlihat ortogonal!

— Matthew Gunn

Grafis luar biasa. Simbol-simbol semuanya masuk akal (trammel yang menggambarkan elips dan kemudian Pythagoras Thm berlaku) tetapi entah bagaimana saya tidak mendapatkan secara intuitif bagaimana ini memberikan gagasan tentang bagaimana 'secara ajaib' itu menghubungkan momen (penyebaran dan pusat.

— Mitch

pertimbangkan trammel sebagai proses yang mendefinisikan semua variabel acak bernilai . Ketika batang horizontal atau vertikal, Anda memiliki RV deterministik. Di tengah ada keacakan dan ternyata dalam kerangka geometris yang saya usulkan bagaimana acak RV (std) diukur dengan tepat dengan jarak batang ke asal. Mungkin ada hubungan yang lebih dalam di sini karena kurva eliptik menghubungkan berbagai objek dalam matematika tetapi saya bukan ahli matematika sehingga saya tidak bisa benar-benar melihat hubungan itu.

(x_{1}, x_{2})

$(x_1,x_2)$

— YBE

3

Anda dapat mengatur ulang sebagai berikut:

\begin{array}{rcl} V a r (X) & = & E [X^{2}] - (E [X])^{2} \\ E [X^{2}] & = & (E [X])^{2} + V a r (X) \end{array}

$\begin{eqnarray} Var(X) &=& E[X^2] - (E[X])^2\\ E[X^2] &=& (E[X])^2 + Var(X) \end{eqnarray}$

Kemudian, tafsirkan sebagai berikut: kuadrat yang diharapkan dari variabel acak sama dengan kuadrat dari rata-rata ditambah deviasi kuadrat yang diharapkan dari rata-rata.

— Lam
sumber

Oh Hah. Sederhana. Tapi kotak-kotak itu masih tampak agak tidak diinterpretasikan. Maksud saya masuk akal (semacam, sangat longgar) tanpa kotak.

— Mitch

3

Saya tidak menjual ini.

— Michael R. Chernick

1

Jika teorema Pythagoras berlaku, apakah segitiga dengan sisi apa dan bagaimana kedua kaki tegak lurus?

— Mitch

1

Maaf karena tidak memiliki keterampilan untuk menguraikan dan memberikan jawaban yang tepat, tetapi saya pikir jawabannya terletak pada konsep mekanika klasik fisik momen, terutama konversi antara 0 momen "mentah" berpusat dan momen tengah terpusat berarti. Ingatlah bahwa varians adalah momen sentral urutan kedua dari variabel acak.

— S. Diaxo
sumber

1

Intuisi umum adalah bahwa Anda dapat menghubungkan momen-momen ini menggunakan Teorema Pythagoras (PT) dalam ruang vektor yang sesuai, dengan menunjukkan bahwa dua momen itu tegak lurus dan yang ketiga adalah sisi miringnya. Satu-satunya aljabar yang dibutuhkan adalah untuk menunjukkan bahwa kedua kaki memang orthogonal.

Demi yang berikut, saya akan menganggap Anda berarti sampel rata-rata dan varians untuk keperluan perhitungan daripada momen untuk distribusi penuh. Itu adalah:

\begin{array}{rcll} E [X] & = & \frac{1}{n} \sum x_{i}, & m e a n, f i r s t c e n t r a l s a m p l e m o m e n t \\ E [X^{2}] & = & \frac{1}{n} \sum x_{i}^{2}, & s e c o n d s a m p l e m o m e n t (n o n - c e n t r a l) \\ V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2}, & v a r i a n c e, s e c o n d c e n t r a l s a m p l e m o m e n t \end{array}

$\begin{array}{rcll} E[X] &=& \frac{1}{n}\sum x_i,& \rm{mean, first\ central\ sample\ moment}\\ E[X^2] &=& \frac{1}{n}\sum x^2_i,& \rm{second\ sample\ moment\ (non-central)}\\ Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2,& \rm{variance, second\ central\ sample\ moment} \end{array}$

(di mana semua jumlah lebih dari item). $n$

Sebagai referensi, bukti dasar dari hanyalah simbol yang mendorong: $Var(X) = E[X^2] - E[X]^2$

\begin{array}{rcl} V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2} \\ = & \frac{1}{n} \sum (x_{i}^{2} - 2 E [X] x_{i} + E [X]^{2}) \\ = & \frac{1}{n} \sum x_{i}^{2} - \frac{2}{n} E [X] \sum x_{i} + \frac{1}{n} \sum E [X]^{2} \\ = & E [X^{2}] - 2 E [X]^{2} + \frac{1}{n} n E [X]^{2} \\ = & E [X^{2}] - E [X]^{2} \end{array}

$\begin{eqnarray} Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2\\ &=& \frac{1}{n}\sum (x^2_i - 2 E[X]x_i + E[X]^2)\\ &=& \frac{1}{n}\sum x^2_i - \frac{2}{n} E[X] \sum x_i + \frac{1}{n}\sum E[X]^2\\ &=& E[X^2] - 2 E[X]^2 + \frac{1}{n} n E[X]^2\\ &=& E[X^2] - E[X]^2\\ \end{eqnarray}$

Ada sedikit makna di sini, hanya manipulasi aljabar dasar. Orang mungkin memperhatikan bahwa adalah konstanta di dalam penjumlahan, tetapi itu saja. $E[X]$

Sekarang dalam ruang vektor / interpretasi geometri / intuisi, apa yang akan kami tunjukkan adalah persamaan yang disusun ulang yang sesuai dengan PT, yang

\begin{array}{rcl} V a r (X) + E [X]^{2} & = & E [X^{2}] \end{array}

$\begin{eqnarray} Var(X) + E[X]^2 &=& E[X^2] \end{eqnarray}$

Jadi pertimbangkan , sampel item, sebagai vektor dalam . Dan mari kita buat dua vektor dan . $X$ $n$ $\mathbb{R}^n$ $E[X]{\bf 1}$ $X-E[X]{\bf 1}$

Vektor memiliki rata-rata sampel karena setiap koordinatnya. $E[X]{\bf 1}$

Vektor adalah . $X-E[X]{\bf 1}$ $\langle x_1-E[X], \dots, x_n-E[X]\rangle$

Kedua vektor ini adalah tegak lurus karena produk titik dari kedua vektor tersebut berubah menjadi 0:

\begin{array}{rcl} E [X] 1 \cdot (X - E [X] 1) & = & \sum E [X] (x_{i} - E [X]) \\ = & \sum (E [X] x_{i} - E [X]^{2}) \\ = & E [X] \sum x_{i} - \sum E [X]^{2} \\ = & n E [X] E [X] - n E [X]^{2} \\ = & 0 \end{array}

$\begin{eqnarray} E[X]{\bf 1}\cdot(X-E[X]{\bf 1}) &=& \sum E[X](x_i-E[X])\\ &=& \sum (E[X]x_i-E[X]^2)\\ &=& E[X]\sum x_i - \sum E[X]^2\\ &=& n E[X]E[X] - n E[X]^2\\ &=& 0\\ \end{eqnarray}$

Jadi kedua vektor itu tegak lurus yang artinya mereka adalah dua kaki segitiga siku-siku.

Kemudian oleh PT (yang berlaku di ), jumlah kuadrat dari panjang kedua kaki sama dengan kuadrat dari sisi miring. $\mathbb{R}^n$

Dengan aljabar yang sama yang digunakan dalam bukti aljabar membosankan di atas, kami menunjukkan bahwa kami mendapatkan bahwa adalah kuadrat dari vektor miring: $E[X^2]$

mana kuadratkan adalah produk titik (dan itu benar-benar dan adalah . $(X-E[X])^2 + E[X]^2 = ... = E[X^2]$ $E[x]{\bf 1}$ $(X-E[X])^2$ $Var(X)$

$n$ $n$ $n$ $n$

$E[X^2]$

$n$

— Mitch
sumber

Saya juga tertarik pada interpretasi / intuisi di balik persamaan tradeoff varians bias yang serupa. Adakah yang punya petunjuk di sana?

— Mitch

p_{i}

$p_i$

i

$i$

p_{i} = \frac{1}{n}

$p_i = \frac{1}{n}$

\sum_{i} p_{i} X_{i} Y_{i} = \frac{1}{n} \sum_{i} X_{i} Y_{i}

$\sum_i p_i X_i Y_i = \frac{1}{n} \sum_i X_i Y_i$

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

n

$n$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

E [X Y] = \sum_{i} p_{i} X_{i} Y_{i}

$E[XY] = \sum_i p_i X_i Y_i$

n

$n$

E [X Y]

$E[XY]$

P

$P$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

{\hat{x}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{x}_i = x_i \sqrt{p_i}$

{\hat{y}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{y}_i = x_i \sqrt{p_i}$

\hat{x} \cdot \hat{y} = \sum_{i} x_{i} \sqrt{p_{i}} y_{i} \sqrt{p_{i}} = \sum_{i} p_{i} x_{i} y_{i} = E [x y]

$\hat{x} \cdot \hat{y} = \sum_i x_i \sqrt{p_i} y_i \sqrt{p_i} = \sum_i p_i x_i y_i = E[xy]$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

E [x y]

$E[xy]$