Apakah mungkin untuk memiliki sepasang variabel acak Gaussian yang distribusi bersamanya bukan Gaussian?

Seseorang bertanya kepada saya pertanyaan ini dalam wawancara kerja dan saya menjawab bahwa distribusi bersama mereka selalu Gaussian. Saya pikir saya selalu bisa menulis Gaussian bivariat dengan sarana dan varians serta kovarian mereka. Saya bertanya-tanya apakah mungkin ada kasus di mana probabilitas gabungan dari dua Gaussians bukan Gaussian?

— MarkSAlen
sumber

Contoh lain dari Wikipedia . Tentu saja, jika variabel independen dan sedikit Gaussian, maka mereka bersama-sama Gaussian.

Contoh di sini wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent

Jawaban:

138

Distribusi normal bivariat adalah pengecualian , bukan aturannya!

Penting untuk mengetahui bahwa "hampir semua" distribusi bersama dengan marginal normal bukan distribusi normal bivariat. Artinya, sudut pandang umum bahwa distribusi bersama dengan marginal normal yang bukan normal bivariat entah bagaimana "patologis", agak salah arah.

Tentu saja, multivarian normal sangat penting karena kestabilannya di bawah transformasi linear, dan karenanya menerima banyak perhatian dalam aplikasi.

Contohnya

Berguna untuk memulai dengan beberapa contoh. Gambar di bawah ini berisi peta panas enam distribusi bivariat, yang semuanya memiliki margin normal standar. Yang kiri dan tengah di baris atas adalah normals bivariat, sisanya tidak (seperti yang seharusnya terlihat). Mereka dijelaskan lebih lanjut di bawah ini.

Contoh distribusi bivariat dengan marginal normal standar.

Tulang telanjang copulas

Sifat ketergantungan sering dianalisis secara efisien menggunakan kopula . Sebuah kerja penghubung bivariat adalah hanya sebuah nama indah untuk distribusi probabilitas pada unit persegi dengan seragam marginal. $[0,1]^2$

Misalkan adalah kopula bivariat. Kemudian, segera dari yang di atas, kita tahu bahwa , dan , misalnya. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Kita dapat membuat variabel acak bivariat pada bidang Euclidean dengan margin yang ditentukan sebelumnya dengan transformasi sederhana dari kopula bivariat. Biarkan dan menjadi distribusi marginal yang ditentukan untuk sepasang variabel acak . Kemudian, jika adalah kopula bivariat, adalah fungsi distribusi bivariat dengan marginal dan . Untuk melihat fakta terakhir ini, perlu diketahui bahwa Argumen yang sama berfungsi untuk . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Untuk terus menerus dan , teorema Sklar ini menegaskan sebuah converse menyiratkan keunikan. Yaitu, mengingat distribusi bivariat dengan marginal kontinu , , kopula yang sesuai adalah unik (pada ruang rentang yang sesuai). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

Normal bivariat luar biasa

Teorema Sklar memberi tahu kita (pada dasarnya) bahwa hanya ada satu kopula yang menghasilkan distribusi normal bivariat. Ini, tepatnya dinamai, Gaussian copula yang memiliki kepadatan pada mana pembilangnya adalah distribusi normal bivariat dengan korelasi dievaluasi pada dan . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Tetapi, ada banyak kopula lain dan semuanya akan memberikan distribusi bivariat dengan marginal normal yang bukan normal bivariat dengan menggunakan transformasi yang dijelaskan pada bagian sebelumnya.

Beberapa detail pada contoh

Perhatikan bahwa jika adalah copula acak dengan kepadatan , kepadatan bivariat yang sesuai dengan standar marginal normal di bawah transformasi adalah $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Perhatikan bahwa dengan menerapkan Gaussian copula dalam persamaan di atas, kami memulihkan kepadatan normal bivariat. Tetapi, untuk pilihan , kami tidak akan melakukannya. $c(u,v)$

Contoh-contoh dalam gambar dibangun sebagai berikut (melintasi setiap baris, satu kolom pada satu waktu):

Bivariat normal dengan komponen independen.
Bivariat normal dengan . $\rho = -0.4$
The contoh yang diberikan dalam jawaban ini dari Dilip Sarwate . Dapat dengan mudah dilihat diinduksi oleh copula dengan densitas . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Dihasilkan dari Frank copula dengan parameter . $\theta = 2$
Dihasilkan dari copula Clayton dengan parameter . $\theta = 1$
Dihasilkan dari modifikasi asimetris dari Clayton copula dengan parameter . $\theta = 3$

— kardinal
sumber

+1 untuk pernyataan bahwa kepadatan normal bivariat adalah kasus luar biasa!

— Dilip Sarwate

Mungkin saya kehilangan sesuatu, tetapi jika kita mulai dari , distribusi gabungan secara otomatis ditentukan, terlepas dari konstruksi kopula apa pun, dan jika kita menerapkan non- Konstruksi Gaussian copula ke CDF mereka, memang benar bahwa kita akan mendapatkan CDF non-Gaussian , tetapi fungsi ini secara umum tidak akan menjadi CDF dari pasangan variabel acak kita mulai dengan, benar ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— RandomGuy

Contoh cara mensimulasikan seperti pada panel kanan bawah: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— setengah lulus

@RandomGuy, Anda melewatkan asumsi yang tidak disebutkan bahwa . Jika Anda menganggap mereka independen, maka ya, Anda sudah tahu distribusi bersama. Tanpa asumsi independensi, mengetahui distribusi marjinal tidak memberikan informasi yang cukup untuk menentukan distribusi bersama.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune

Memang benar bahwa setiap elemen dari vektor normal multivariat itu sendiri terdistribusi secara normal, dan Anda dapat menyimpulkan cara dan variansnya. Namun, tidak benar bahwa dua variabel acak Guassian didistribusikan bersama secara normal. Berikut ini sebuah contoh:

Sunting: Menanggapi konsensus bahwa variabel acak yang merupakan titik massa dapat dianggap sebagai variabel terdistribusi normal dengan , saya mengubah contoh saya. $\sigma^2=0$

Mari dan membiarkan di mana adalah variabel acak. Yaitu, masing-masing dengan probabilitas . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Kami pertama kali menunjukkan bahwa memiliki distribusi normal standar. $Y$ Dengan hukum probabilitas total ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Lanjut,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

di mana adalah CDF normal standar . Demikian pula, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Karena itu,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

jadi, CDF dari adalah , dengan demikian . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Sekarang kami menunjukkan bahwa tidak terdistribusi secara normal. $X,Y$ Sebagaimana ditunjukkan oleh @ cardinal, satu karakterisasi dari multivariate normal adalah bahwa setiap kombinasi linear dari elemen-elemennya terdistribusi secara normal. tidak memiliki properti ini, sejak $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Oleh karena itu adalah campuran dari variabel acak dan massa titik pada 0, sehingga tidak dapat didistribusikan secara normal. $Y+X$ $50/50$ $N(0,4)$

— Makro
sumber

Saya tidak setuju dengan jawaban ini. Massa titik degenerasi at biasanya dianggap sebagai variabel acak Gaussian degenerasi dengan varians nol. Juga, tidak terus menerus bersama meskipun mereka sedikit terus menerus Untuk contoh dari dua variabel acak kontinu bersama yang secara marginal Gaussian tetapi tidak bersama-sama Gaussian, lihat, misalnya, bagian terakhir dari jawaban ini .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Dilip Sarwate

@DilipSarwate, pertanyaannya adalah untuk memberikan contoh (jika ada) dari dua variabel yang terdistribusi normal tetapi distribusi bersama mereka tidak multivariat normal. Ini sebuah contoh. Sebagian besar definisi standar dari distribusi normal (mis. Wikipedia en.wikipedia.org/wiki/Normal_distribution ) memerlukan varians yang benar-benar positif, sehingga tidak termasuk titik massa sebagai bagian dari keluarga distribusi normal.

— Makro

Karakterisasi standar dari Gaussian multivarian adalah bahwa adalah Gaussian multivarian jika dan hanya jika adalah Gaussian untuk semua . Sebagai @Dilip mengisyaratkan, ada baiknya mempertimbangkan apakah ini benar untuk contoh Anda.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— kardinal

Karena Anda tampaknya tidak suka banding ke rasionalitas ;-), bagaimana dengan banding ke otoritas? (Itu lelucon, jika itu tidak terlihat.) Saya kebetulan kebetulan ini murni karena saya mencari sesuatu yang lain: Contoh 2.4 , halaman 22 dari GAF Seber dan AJ Lee, Analisis Regresi Linier , 2. ed., Wiley. Itu mengutip: "Biarkan dan letakkan ... Dengan demikian memiliki distribusi normal multivariat."

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— kardinal

Diskusi adalah tentang definisi. Jelas, jika matriks kovarians menurut definisi diharuskan menjadi Makro non-tunggal memberikan contoh, tetapi ini bukan contoh menurut definisi yang lebih liberal yang dirujuk oleh @ cardinal juga. Salah satu alasan bagus untuk lebih menyukai definisi yang lebih liberal adalah bahwa semua transformasi linear dari variabel normal adalah normal. Secara khusus, dalam regresi linier dengan kesalahan normal residual memiliki distribusi normal bersama tetapi matriks kovarians singular.

— NRH

Posting berikut berisi garis besar bukti, hanya untuk memberikan ide-ide utama dan membantu Anda memulai.

Misalkan menjadi dua variabel acak Gaussian independen dan misalkan menjadi $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Setiap , tetapi karena keduanya merupakan kombinasi linear dari r.vs independen yang sama, keduanya saling bergantung. $X_i \sim N(\mu_i, \sigma_i^2)$

Definisi Sepasang r.vs dikatakan bivariat yang terdistribusi normal jika dapat ditulis sebagai kombinasi linier dari r.vs normal yang independen . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Lemma Jika adalah Gaussian bivariat, maka kombinasi linear lainnya adalah variabel acak normal. $x = (X_1, X_2)$

Bukti . Sepele, dilewati untuk tidak menyinggung siapapun.

Properti Jika tidak berkorelasi, maka mereka independen dan sebaliknya. $X_1, X_2$

Distribusi $X_1 | X_2$

Asumsikan adalah Gaussian r.vs yang sama seperti sebelumnya, tetapi anggaplah mereka memiliki varian positif dan rata-rata nol untuk kesederhanaan. $X_1, X_2$

Jika adalah subruang yang direntang oleh , misalkan dan . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ dan adalah kombinasi linear dari , jadi juga. Mereka bersama-sama Gaussian, tidak berkorelasi (membuktikannya) dan independen. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

Dekomposisi berlaku dengan

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Lalu

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Dua variabel acak Gaussian univariat adalah Gaussian bersama jika kondisi dan juga Gaussian. $X, Y$ $X | Y$ $Y|X$

— tambahan
sumber

Tidak jelas bagaimana pengamatan ini menjawab pertanyaan. Karena aturan produk secara praktis adalah definisi distribusi bersyarat, itu tidak khusus untuk distribusi binormal. Pernyataan selanjutnya "maka dalam urutan ..." tidak memberikan alasan: persis mengapa distribusi bersyarat juga harus normal?

— whuber

Whuber, saya menjawab pertanyaan utama: "Saya ingin tahu apakah mungkin ada kasus di mana probabilitas gabungan dari dua Gaussians bukan Gaussian?". Jadi, jawabannya adalah: ketika kondisi tidak normal. - Ancillary

— tambahan

Bisakah Anda menyelesaikan demonstrasi itu? Saat ini hanya pernyataan dari Anda, tanpa bukti. Sama sekali tidak jelas bahwa itu benar. Ini juga tidak lengkap, karena Anda perlu membangun keberadaan: yaitu, Anda harus menunjukkan bahwa distribusi bersama sebenarnya mungkin memiliki marjinal normal tetapi yang setidaknya satu kondisional tidak normal. Sekarang sebenarnya itu sepele, karena Anda dapat dengan bebas mengubah setiap distribusi kondisional dari binormal pada serangkaian ukuran nol tanpa mengubah marjinalnya - tetapi kemungkinan itu tampaknya akan bertentangan dengan pernyataan Anda.

— whuber

Hai @whuber, saya harap ini lebih membantu. Apakah Anda memiliki saran atau suntingan untuk dilakukan? Saya menulis ini dengan sangat cepat karena saat ini saya tidak punya banyak waktu luang :-) tapi saya akan menghargai saran atau perbaikan yang dapat Anda lakukan. Terbaik

— tambahan

(1) Apa yang Anda coba buktikan? (2) Karena pertanyaannya muncul ketika distribusi dengan marginal Gaussian tidak bersama - sama Gaussian, saya tidak melihat bagaimana argumen ini mengarah pada sesuatu yang relevan.

— whuber