Kovarian untuk tiga variabel

Saya mencoba memahami cara kerja matriks kovarians . Jadi misalkan kita memiliki dua variabel: , di mana memberikan hubungan antar variabel, yaitu seberapa besar satu bergantung pada yang lain. $X, Y$ $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$

Sekarang, tiga kasus variabel kurang jelas bagi saya. Definisi intuitif untuk fungsi kovarian adalah , tetapi literatur menyarankan menggunakan matriks kovarians yang didefinisikan sebagai dua variabel kovarians untuk setiap pasangan variabel. $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

Jadi, apakah kovarians menyertakan informasi lengkap tentang hubungan variabel? Jika demikian, apa kaitannya dengan definisi saya tentang ? $\text{Cov}(X,Y,Z)$

correlation covariance moments

— Karolis
sumber

Saya pikir, saya melihat bahwa definisi saya tidak berfungsi. Tetapi apakah matriks kovarians cukup untuk mengukur hubungan antara semua variabel?

— Karolis

Matriks kovarians cukup untuk mengukur kovarians antara semua variabel tetapi bukan "hubungan" karena ini adalah konsep umum (variabel dapat terkait atau tergantung dalam banyak cara non-linear yang berbeda yang tidak ditangkap oleh kovarians). Pengecualian untuk ini adalah jika Anda tahu variabel mana multivariat normal.

— Zachary Blumenfeld

Terima kasih @ZacharyBlumenfeld! Bisakah Anda merekomendasikan buku teks yang bagus tentang ini?

— Karolis

Apa perbedaan antara dan dalam istilah ? Saya tahu apa yang Anda maksud dengan - itu adalah variabel acak - dan juga oleh - itu adalah nilai yang diharapkan dari , bilangan real - tetapi apa itu ? Jika adalah bilangan real lain, maka adalah bilangan real - tidak ada yang acak tentang itu - dan definisi Anda berkurang menjadi karena nilai yang diharapkan dari bilangan real adalah bilangan real itu sendiri .

x

$x$

X

$X$

x - E [X]

$x-E[X]$

X

$X$

E [X]

$E[X]$

X

$X$

x

$x$

x

$x$

x - E [X]

$x-E[X]$

cov (X, Y, Z) = E [(x - E [X]) (y - E [Y]) (z - E [Z])] = (x - E [X]) (y - E [Y]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$

— Dilip Sarwate

@ZacharyBlumenfeld, komentar Anda hampir memenuhi syarat sebagai jawaban. Mungkin Anda harus mengembangkannya sedikit (tambahkan adalah momen lintas pusat urutan ketiga, apa lagi) dan posting sebagai jawaban?

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

— Richard Hardy

Untuk memperluas komentar Zachary, matriks kovarians tidak menangkap "hubungan" antara dua variabel acak, karena "hubungan" terlalu luas dari sebuah konsep. Sebagai contoh, kita mungkin ingin memasukkan ketergantungan dua variabel satu sama lain untuk dimasukkan dalam ukuran "relasi" mereka. Namun, kita tahu bahwa tidak menyiratkan bahwa mereka independen, seperti misalnya halnya dengan dua variabel acak X ~ U (-1,1) dan Y = X ^ 2 (untuk pendek bukti, lihat: https://en.wikipedia.org/wiki/Covariance#Uncorrelatedness_and_independence ). $cov(X,Y)=0$

Jadi jika kita berpikir bahwa kovarians mencakup informasi lengkap tentang hubungan variabel, seperti yang Anda minta, nol kovarians tidak akan menunjukkan ketergantungan. Inilah yang Zachary maksud ketika ia mengatakan bahwa mungkin ada ketergantungan non-linear yang tidak ditangkap oleh kovarian.

Namun, misalkan menjadi multivarian normal, X ~ . Maka adalah independen iff adalah matriks diagonal dengan semua elemen off-diagonal = 0 (jika semua kovarian = 0). $X:=(X_{1},...,X_{n})'$ $N(\mu,\Sigma)$ $X_{1},...,X_{n}$ $\Sigma$

Untuk melihat bahwa kondisi ini cukup, amati bahwa faktor kerapatan sambungan, .

f (x_{1}, . . ., x_{n}) = \frac{1}{\sqrt{(2 π)^{n} | Σ |}} e x p (- \frac{1}{2} (x - μ)^{'} Σ^{- 1} (x - μ)) = Π_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i i}}} e x p (- \frac{(x_{i} - μ_{i})^{2}}{2 σ_{i i}}) = f_{1} (x_{1}) . . . f_{n} (x_{n})

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$

Untuk melihat bahwa kondisi ini perlu, ingat kasus bivariat. Jika dan independen, maka dan harus memiliki varian yang sama, jadi $X_{1}$ $X_{2}$ $X_{1}$ $X_{1}|X_{2} = x_{2}$

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

yang menyiratkan . Dengan argumen yang sama, semua elemen off-diagonal harus nol. $\sigma_{12}=0$ $\Sigma$

(sumber: slide Advanced Econometrics Geert Dhaene prof.)

— hrrrrrr5602
sumber