Bagaimana rumus untuk menghasilkan variabel acak berkorelasi bekerja?

19

Jika kita memiliki 2 variabel acak normal, tidak berkorelasi maka kita dapat membuat 2 variabel acak berkorelasi dengan rumus $X_1, X_2$

$Y=\rho X_1+ \sqrt{1-\rho^2} X_2$

dan kemudian akan memiliki korelasi dengan . $Y$ $\rho$ $X_1$

Adakah yang bisa menjelaskan dari mana formula ini berasal?

correlation normal-distribution covariance

— Lanza
sumber

1

Diskusi yang luas tentang hal ini dan masalah terkait muncul dalam jawaban saya di stats.stackexchange.com/a/71303 . Di antara hal-hal lain, jelas bahwa (1) asumsi Normalitas tidak relevan dan (2) Anda perlu membuat asumsi tambahan: varian dan harus sama agar korelasi dengan menjadi .

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

ρ

$\rho$

— whuber

Tautan yang sangat menarik. Saya tidak yakin saya mengerti apa yang Anda maksud dengan normalitas menjadi tidak relevan. Jika

atau

tidak normal, dan menjadi lebih sulit untuk mengontrol kepadatan

melalui algoritma Kaiser-Dickman. Ini adalah alasan utama untuk algoritma khusus untuk menghasilkan data berkorelasi tidak normal (misalnya, Headrick, 2002; Ruscio & Kaczetow, 2008; Vale & Maurelli, 1983) Misalnya, bayangkan tujuan Anda adalah untuk menghasilkan

~ normal,

~ uniform , dengan

= .5. Menggunakan

~ seragam menghasilkan

yang tidak seragam (

akhirnya menjadi kombinasi linear dari yang normal dan seragam).

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X

$X$

Y

$Y$

ρ

$\rho$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

— Anthony

@Anthony Pertanyaannya hanya bertanya tentang korelasi , yang murni fungsi dari momen pertama dan kedua. Jawabannya tidak tergantung pada properti distribusi lainnya. Apa yang Anda diskusikan adalah topik yang berbeda sama sekali.

— whuber

17

Misalkan Anda ingin menemukan kombinasi linier dan sedemikian rupa $X_1$ $X_2$

corr (α X_{1} + β X_{2}, X_{1}) = ρ

$\text{corr}(\alpha X_1 + \beta X_2, X_1) = \rho$

Perhatikan bahwa jika Anda mengalikan dan dengan yang sama (tidak nol), korelasinya tidak akan berubah. Jadi, kita akan menambahkan kondisi untuk mempertahankan varians: $\alpha$ $\beta$ $\text{var}(\alpha X_1 + \beta X_2) = \text{var}(X_1)$

Ini setara dengan

ρ = \frac{cov (α X_{1} + β X_{2}, X_{1})}{\sqrt{var (α X_{1} + β X_{2}) var (X_{1})}} = \frac{α \overset{= var (X_{1})}{\overset{⏞}{cov (X_{1}, X_{1})}} + \overset{= 0}{\overset{⏞}{β cov (X_{2}, X_{1})}}}{\sqrt{var (α X_{1} + β X_{2}) var (X_{1})}} = α \sqrt{\frac{var (X_{1})}{α^{2} var (X_{1}) + β^{2} var (X_{2})}}

$\rho = \frac{\text{cov}(\alpha X_1 + \beta X_2, X_1)}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \frac{\alpha \overbrace{\text{cov}(X_1, X_1)}^{=\text{var}(X_1)} + \overbrace{\beta \text{cov}(X_2, X_1)}^{=0}}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \alpha \sqrt{\frac{\text{var}(X_1)}{\alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2)}}$

Dengan asumsi kedua variabel acak memiliki varian yang sama (ini adalah asumsi penting!) ( ), kita dapatkan $\text{var}(X_1) = \text{var}(X_2)$

ρ \sqrt{α^{2} + β^{2}} = α

$\rho \sqrt{\alpha^2 + \beta^2} = \alpha$

Ada banyak solusi untuk persamaan ini, jadi sekarang saatnya untuk mengingat kondisi pengawetan ragam:

var (X_{1}) = var (α X_{1} + β X_{2}) = α^{2} var (X_{1}) + β^{2} var (X_{2}) \Rightarrow α^{2} + β^{2} = 1

$\text{var}(X_1) = \text{var}(\alpha X_1 + \beta X_2) = \alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2) \Rightarrow \alpha^2 + \beta^2 = 1$

Dan ini membawa kita ke

α = ρ β = \pm \sqrt{1 - ρ^{2}}

$\alpha = \rho \\ \beta = \pm \sqrt{1-\rho^2}$

UPD . Mengenai pertanyaan kedua: ya, ini dikenal sebagai pemutihan .

— Artem Sobolev
sumber

9

Persamaannya adalah bentuk bivariat sederhana dari dekomposisi Cholesky . Persamaan yang disederhanakan ini kadang-kadang disebut algoritma Kaiser-Dickman (Kaiser & Dickman, 1962).

$X_1$ $X_2$ $X_1$ $X_2$ $Y$ $X_2$

Referensi:

Kaiser, HF, & Dickman, K. (1962). Matriks sampel dan skor populasi dan matriks korelasi sampel dari matriks korelasi populasi arbitrer. Psychometrika, 27 (2), 179-182.

— Anthony
sumber

2

I suppose you don't need standardized normal variables, just having the same variance should be enough.

— Artem Sobolev

2

No, the distribution of

Y

$Y$ is not a mixture distribution as you claim.

— Dilip Sarwate

Point taken, @Dilip Sarwate. If either

X_{1}

$X_1$ or

X_{2}

$X_2$ is nonnormal, then

Y

$Y$ becomes a linear combination of two variables that might not result in the desired distribution. This is the reason for specialized algorithms (instead of Kaiser-Dickman) for generated non-normal correlated data.

— Anthony

3

Correlation coefficient is the $\cos$ between two series if they are treated as vectors (with $n^{th}$ data point being $n^{th}$ dimension of a vector). The above formula simply creates a decomposition of a vector into its $\cos\theta$ , $sin\theta$ components (with respect to $X_1,X_2$ ).
if $\rho = cos \theta$ , then $\sqrt{1-{\rho}^2}=\pm sin \theta$ .

Because if $X_1, X_2$ are uncorrelated, the angle between them is a right angle (ie, they can be considered as orthogonal, albeit non-normalized, basis vectors ).

— Dmitry Rubanovich
sumber

2

Welcome to our site! I believe your post will get more attention if you mark up the mathematical expressions using

T E X

$\TeX$ : enclose them between dollar signs. There's help available when you're editing.

— whuber