Ekspektasi produk dari variabel acak Gaussian

Katakanlah kita memiliki dua vektor acak Gaussian $p(x_1) = N(0,\Sigma_1), p(x_2) = N(0,\Sigma_2)$ , apakah ada hasil yang terkenal untuk harapan produk mereka $E[x_1x_2^T]$ tanpa mengasumsikan independensi?

random-variable normal-distribution expected-value

@ asd123 1) saat Anda menulis

Σ

$\Sigma$ itu menunjukkan itu

x_{1}

$x_1$ dan

x_{2}

$x_2$ adalah vektor, dalam hal ini produk

x_{1} x_{2}

$x_{1}x_{2}$ tidak didefinisikan sebagai tertulis (kecuali

n = 1

$n=1$ ). Maksud kamu

x_{1}^{T} x_{2}

$x_{1}^{\mathrm{T}}x_{2}$ ? Jika tidak, apa maksudmu? 2) Tanpa independensi, belum tentu benar demikian

(x_{1}, x_{2})

$(x_{1},x_{2})$ adalah normal bersama, sehingga akan terlihat bahwa Anda akan memerlukan lebih banyak informasi tentang distribusi bersama mereka (dan / atau matriks varians / kovarian) sebelum Anda dapat mengatakan sesuatu yang definitif.

Ya, saya memang bermaksud begitu

x_{1}

$x_1$ dan

x_{2}

$x_2$ adalah vektor. Saya juga tahu bahwa mereka bersama-sama Gaussian. Apakah itu membantu?

@ asd123 sebagian, ya, karena itu

x_{1}

$x_1$ dan

x_{2}

$x_2$ akan independen jika dan hanya jika mereka tidak berkorelasi (lihat matriks varians / kovarian

x^{T} = (x_{1}^{T}, x_{2}^{T})

$x^{\mathrm{T}}=(x_{1}^{\mathrm{T}},x_{2}^{\mathrm{T}})$ . Jika matriks blok off-diagonal adalah nol maka mereka tidak berkorelasi). Jika mereka independen maka Anda bisa menuliskan titik produk di atas, mengambil nilai yang diharapkan dan Anda akan siap. Jika mereka tidak independen maka apakah Anda tahu tentang entri blok diagonal?

Omong-omong, jika di atas benar-benar apa yang Anda maksud maka saya sarankan Anda mengubah judul menjadi "Ekspektasi produk-titik vektor acak Gaussian".

Maaf, saya bermaksud memindahkan variabel lain. Jadi hasilnya adalah sebuah matriks. Yaitu (Mx1) x (1xM) = (MxM)

Jawaban:

Ya, ada hasil yang terkenal. Berdasarkan hasil edit Anda, kami dapat fokus terlebih dahulu pada entri individual array $E[x_1 x_2^T]$ . Entri semacam itu adalah produk dari dua variabel nol mean dan varian terbatas, katakanlah $\sigma_1^2$ dan $\sigma_2^2$ . The Cauchy-Schwarz Ketimpangan menyiratkan nilai absolut dari harapan produk tidak dapat melebihi $|\sigma_1 \sigma_2|$ . Bahkan, setiap nilai dalam interval $[-|\sigma_1 \sigma_2|, |\sigma_1 \sigma_2|]$ mungkin karena muncul untuk beberapa distribusi binormal. Oleh karena itu, $i,j$ masuknya $E[x_1 x_2^T]$ harus kurang dari atau sama dengan $\sqrt{\Sigma_{1_{i,i}} \Sigma_{2_{j,j}}}$ dalam nilai absolut.

Jika sekarang kita asumsikan semua variabel normal dan itu $(x_1; x_2)$ bersifat multinormal, akan ada pembatasan lebih lanjut karena matriks kovarians $(x_1; x_2)$ harus semidefinit positif. Daripada mengulangi intinya, saya akan menggambarkan. Seharusnya $x_1$ memiliki dua komponen $x$ dan $y$ dan itu $x_2$ memiliki satu komponen $z$ . Membiarkan $x$ dan $y$ memiliki varian unit dan korelasi $\rho$ (dengan demikian menentukan $\Sigma_1$ ) dan anggaplah $z$ memiliki varian unit ( $\Sigma_2$ ). Biarkan harapan $x z$ menjadi $\alpha$ dan itu $y z$ menjadi $\beta$ . Kami telah menetapkan itu $|\alpha| \le 1$ dan $|\beta| \le 1$ . Namun, tidak semua kombinasi dimungkinkan: minimal, penentu matriks kovarian $(x_1; x_2)$ tidak boleh negatif. Ini memaksakan kondisi non-sepele

1 - α^{2} - β^{2} + 2 α β ρ - ρ^{2} \geq 0.

$1-\alpha ^2-\beta ^2+2 \alpha \beta \rho -\rho ^2 \ge 0.$

Untuk apapun $-1 \lt \rho \lt 1$ ini adalah elips (beserta bagian dalamnya) yang tertulis di dalam $\alpha, \beta$ kotak $[-1, 1] \times [-1, 1]$ .

Untuk mendapatkan batasan lebih lanjut, asumsi tambahan tentang variabel diperlukan.

Plot wilayah yang diizinkan $(\rho, \alpha, \beta)$

teks alternatif

— whuber
sumber

Tidak ada hasil yang kuat dan tidak tergantung pada Gaussianity. Dalam hal di mana $x_1$ dan $x_2$ adalah skalar, Anda bertanya apakah mengetahui varians variabel menyiratkan sesuatu tentang kovarian mereka. jawaban whuber benar. Ketidaksamaan Cauchy-Schwarz dan semi-positif membatasi nilai-nilai yang mungkin.

Contoh paling sederhana adalah bahwa kovarians kuadrat dari sepasang variabel tidak pernah dapat melebihi produk varians mereka. Untuk matriks kovarians ada generalisasi.

Pertimbangkan blok kovarians yang dipartisi blok $[x_1 \ x_2]$ ,

[\begin{array}{cc} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{array}] .

$\left[ \begin{array}{cc} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{array} \right].$

Kemudian

‖ Σ_{12} ‖_{q}^{2} \leq ‖ Σ_{11} ‖_{q} ‖ Σ_{22} ‖_{q}

$\Vert \Sigma_{12} \Vert_q^2 \leq \Vert \Sigma_{11} \Vert_q \Vert \Sigma_{22} \Vert_q$ untuk semua norma-norma Schatten . Kepastian positif (semi) dari matriks kovarian juga memberikan batasan itu

Σ_{11} - Σ_{12} Σ_{22}^{- 1} Σ_{21}

$\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}$ harus positif (semi) pasti.

Σ_{22}^{- 1}

$\Sigma_{22}^{-1}$ adalah kebalikan (Moore-Penrose) dari

Σ_{22}

$\Sigma_{22}$ .

— vqv
sumber

seharusnya $(X,Y)$ adalah bivariat normal dengan nol berarti dan korelasi $\rho$ . kemudian

${\mathrm E} XY= cov(X,Y)= \rho\sigma_X\sigma_Y$ .

semua entri dalam matriks $x_1x_2^T$ dari bentuk $XY$ .

— Ronaf
sumber

... dan kemudian, tentu saja, kami menyimpulkan

| ρ | \leq 1

$|\rho| \le 1$ . Ini menggambarkan jawaban yang diberikan oleh @vqv. @ronaf: mengapa kamu tidak menjawab dengan jawaban @ vqv?

— whuber

@whuber - pada pertimbangan lebih lanjut, saya menyadari bahwa jawaban saya - berguna - membutuhkan mengetahui kovarian antara koordinat

x_{1}

$x_1$ dan

x_{2}

$x_2$ [

Σ_{12}

$\Sigma_{12}$ , dalam notasi @ vqv].

Σ_{12}

$\Sigma_{12}$ tidak disebutkan secara khusus dalam pertanyaan OP - jadi mungkin itu tidak boleh dianggap sebagai bagian dari 'data' yang diketahui untuk masalah [titik yang berhasil lolos dari pemberitahuan saya, saya khawatir]. dalam hal ini, jawaban @ vqv - dan jawaban Anda - tentu lebih erat. Saya memilih kedua jawaban Anda - dan bahkan membuat saya menatap lebih sulit pada masalah yang terlibat.

— ronaf