Bagaimana cara menghasilkan angka acak berkorelasi (diberikan berarti, varian dan tingkat korelasi)?

53

Maaf jika ini agak terlalu mendasar, tapi kurasa aku hanya ingin mengonfirmasi pengertian di sini. Saya merasa saya harus melakukan ini dalam dua langkah, dan saya mulai mencoba untuk mendapatkan matriks korelasi, tetapi itu baru mulai terlihat benar-benar terlibat. Saya mencari penjelasan singkat (idealnya dengan petunjuk menuju solusi pseudocode) tentang cara yang baik dan cepat untuk menghasilkan bilangan acak berkorelasi.

Diberi dua variabel pseudorandom, tinggi dan berat dengan sarana dan varian yang diketahui, dan korelasi yang diberikan, saya pikir pada dasarnya saya mencoba memahami seperti apa langkah kedua ini:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

Bagaimana cara menghitung mean dan varians yang berkorelasi? Tetapi saya ingin mengkonfirmasi bahwa itu benar-benar masalah yang relevan di sini.
Apakah saya perlu menggunakan manipulasi matriks? Atau apakah saya memiliki sesuatu yang sangat salah dalam pendekatan dasar saya untuk masalah ini?

— Joseph Weissman
sumber

1

Tidak yakin saya mengerti Anda dengan benar, tetapi Anda tidak harus menghitung "mean dan varians yang berkorelasi". Jika Anda mengasumsikan bahwa variabelnya normal bivariat, itu harus cukup untuk menentukan rata-rata dan varians individu serta korelasinya. Apakah ada perangkat lunak tertentu yang ingin Anda gunakan untuk ini?

— mark999

3

Qs berikut ini sangat terkait & akan menarik: Bagaimana mendefinisikan distribusi sehingga menarik dari itu berkorelasi dengan menarik dari distribusi lain yang ditentukan sebelumnya? & Hasilkan variabel acak dengan korelasi yang ditentukan dengan variabel yang ada .

— gung - Reinstate Monica

1

Juga: Bagaimana saya bisa menghasilkan data dengan matriks korelasi yang ditentukan sebelumnya?

— gung - Reinstate Monica

44

Untuk menjawab pertanyaan Anda tentang "cara cepat yang baik dan idealnya menghasilkan angka acak berkorelasi": Diberikan matriks varians-kovarian yang diinginkan, yang secara definitif positif pasti, dekomposisi Cholesky adalah: = ; menjadi matriks segitiga lebih rendah. $C$ $C$ $LL^T$ $L$

Jika Anda sekarang menggunakan matriks untuk memproyeksikan vektor variabel acak tidak berkorelasi , proyeksi yang dihasilkan akan menjadi variabel acak berkorelasi. $L$ $X$ $Y = LX$

Anda dapat menemukan penjelasan singkat mengapa ini terjadi di sini .

— usεr11852 kata Reinstate Monic
sumber

Terima kasih! Ini sangat membantu. Saya pikir saya setidaknya memiliki perasaan yang lebih baik tentang apa yang perlu saya lihat selanjutnya.

— Joseph Weissman

7

Apakah metode ini hanya berlaku untuk distribusi Gaussian (seperti yang ditentukan dalam pertanyaan), atau dapatkah itu digunakan untuk menghasilkan variabel berkorelasi yang mengikuti distribusi lainnya? Jika tidak, apakah Anda mengetahui metode yang dapat digunakan dalam kasus itu?

— user000001

1

@Michael: Ya. Setelah mengatakan bahwa diberikan adalah matriks kovarians yang valid dekomposisi Cholesky adalah cara tercepat. Anda juga bisa mendapatkan matriks akar (simetris) kuadrat dari dengan menggunakan SVD (jadi , di mana dari ) tetapi itu akan lebih mahal juga.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852 mengatakan Reinstate Monic

1

@Michael: Tentu saja. Kovarians mereka akan (kurang-lebih) sama, bukan jumlahnya sendiri.

— usεr11852 mengatakan Reinstate Monic

1

@ Id: Setiap distribusi berkelanjutan yang tidak didukung pada seluruh baris nyata akan segera gagal. Sebagai contoh jika kita menggunakan seragam kami tidak dapat menjamin bahwa "angka berkorelasi" akan berada di ; sama untuk Poisson kita akan berakhir dengan angka non-diskrit. Selain itu, distribusi mana pun yang jumlah distribusinya masih tidak sama dengan distribusi (mis. Menjumlahkan distribusi- tidak menghasilkan distribusi- ) juga akan gagal. Dalam semua kasus yang disebutkan, angka yang dihasilkan akan dikorelasikan menurut tetapi mereka tidak akan sesuai dengan distribusi yang kami mulai.

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$

— usεr11852 kata Reinstate Monic

36

+1 ke @ user11852, dan @ jem77bfp, ini adalah jawaban yang bagus. Biarkan saya mendekati ini dari sudut pandang yang berbeda, bukan karena saya pikir itu selalu lebih baik dalam praktek , tetapi karena saya pikir ini instruktif. Berikut adalah beberapa fakta relevan yang sudah kita ketahui:

$r$ adalah kemiringan garis regresi ketika kedua dan yang standar , yaitu, , $X$ $Y$ $\mathcal N(0,1)$
$r^2$ adalah proporsi varians dalam disebabkan varians dalam , $Y$ $X$

(juga, dari aturan untuk varian ):
varians dari variabel acak dikalikan dengan konstanta adalah konstanta kuadrat kali varians aslinya:
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
varians add , yaitu varians dari penjumlahan dari dua variabel acak (dengan asumsi mereka independen) adalah jumlah dari dua varians:
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

Sekarang, kita dapat menggabungkan keempat fakta ini untuk membuat dua variabel normal standar yang populasinya akan memiliki korelasi, (lebih tepat, ), meskipun sampel yang Anda hasilkan akan memiliki korelasi sampel yang bervariasi. Idenya adalah untuk membuat variabel pseudorandom, , yaitu standar normal, , dan kemudian menemukan koefisien, , dan varian kesalahan, , sehingga , di mana . (Perhatikan bahwa harus agar ini berfungsi, dan, apalagi, .) Jadi, Anda mulai dengan $r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ yang Anda inginkan; itu koefisien Anda, . Kemudian Anda mengetahui varians kesalahan yang Anda butuhkan, itu . (Jika perangkat lunak Anda mengharuskan Anda untuk menggunakan standar deviasi, mengambil akar kuadrat dari nilai tersebut.) Akhirnya, untuk setiap pseudorandom variate, , bahwa Anda telah dihasilkan, menghasilkan kesalahan variate pseudorandom, , dengan varians kesalahan yang sesuai , dan hitung variasi pseudorandom yang dikorelasikan, , dengan mengalikan dan menambahkan. $a$ $1-r^2$ $x_i$ $e_i$ $v_e$ $y_i$

Jika Anda ingin melakukan ini di R, kode berikut mungkin bekerja untuk Anda:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

(Sunting: Saya lupa menyebutkan :) Seperti yang saya jelaskan, prosedur ini memberi Anda dua variabel berkorelasi normal standar. Jika Anda tidak ingin normals standar , tetapi ingin variabel memiliki beberapa cara khusus (bukan 0) dan SD (bukan 1), Anda dapat mengubahnya tanpa mempengaruhi korelasinya. Dengan demikian, Anda akan mengurangi mean yang diamati untuk memastikan bahwa rata-rata tepat , kalikan variabel dengan SD yang Anda inginkan dan kemudian tambahkan rata-rata yang Anda inginkan. Jika Anda ingin rata-rata yang diamati berfluktuasi secara normal di sekitar rata-rata yang diinginkan, Anda akan menambahkan perbedaan awal kembali. Pada dasarnya, ini adalah transformasi z-skor secara terbalik. Karena ini adalah transformasi linear, variabel yang diubah akan memiliki korelasi yang sama dengan variabel lain seperti sebelumnya. $0$

Sekali lagi, ini, dalam bentuk yang paling sederhana, hanya memungkinkan Anda menghasilkan sepasang variabel berkorelasi (ini bisa ditingkatkan, tetapi menjadi cepat jelek), dan tentu saja bukan cara yang paling nyaman untuk menyelesaikan pekerjaan. Dalam R, Anda ingin menggunakan ? Mvrnorm dalam paket MASS , baik karena lebih mudah dan karena Anda dapat menghasilkan banyak variabel dengan matriks korelasi populasi yang diberikan. Meskipun demikian, saya pikir bermanfaat untuk menjalani proses ini untuk melihat bagaimana beberapa prinsip dasar berjalan dengan cara yang sederhana.

— gung - Reinstate Monica
sumber

Pendekatan yang pada dasarnya penyesalan ini sangat bagus membiarkan seseorang untuk menghasilkan satu Y acak berkorelasi dengan sejumlah "prediktor" X yang ada . Apakah saya benar dalam pengertian seperti itu?

— ttnphns

Itu tergantung pada pola korelasi apa yang tepat di antara variabel yang Anda inginkan, @ttnphns. Anda bisa mengulanginya satu per satu, tetapi itu akan membosankan. Untuk membuat banyak variabel berkorelasi dengan pola yang diberikan, lebih baik menggunakan dekomposisi Cholesky.

— gung - Reinstate Monica

gung, apakah Anda tahu cara menggunakan Cholesky untuk menghasilkan satu Y berkorelasi (kira-kira, seperti dalam metode Anda) sesuai dengan vektor korelasi dengan beberapa X yang ada (tidak disimulasikan)?

— ttnphns

@ttnphns, Anda ingin menghasilkan Y tunggal / korelasi populasi tertentu dengan satu set X, bukan satu set variabel p yang semuanya memiliki korelasi populasi yang ditentukan sebelumnya? Cara sederhana adalah menulis persamaan regresi untuk menghasilkan satu Y-hat dari X Anda, kemudian gunakan metode di atas untuk menghasilkan Y sebagai korelasi Y-hat Anda. Anda bisa mengajukan pertanyaan baru tentang itu, jika mau.

— gung - Reinstate Monica

1

Inilah yang saya maksud dalam komentar awal saya: metode ini akan menjadi perpanjangan langsung dari apa yang Anda bicarakan dalam jawaban Anda: pada dasarnya metode penyesalan (Topi).

— ttnphns

16

Secara umum ini bukan hal yang mudah dilakukan, tapi saya percaya ada paket untuk pembuatan variabel normal multivariat (setidaknya dalam R, lihat mvrnormdalam MASSpaket), di mana Anda hanya memasukkan matriks kovarians dan vektor rata-rata.

Ada juga satu lagi pendekatan "konstruktif". Katakanlah kita ingin memodelkan vektor acak dan kita memiliki fungsi distribusinya . Langkah pertama adalah untuk mendapatkan fungsi distribusi marginal; yaitu mengintegrasikan atas semua : Kemudian kami menemukan - fungsi terbalik - dan pasang variabel acak yang didistribusikan secara seragam pada interval . Pada langkah ini kami membuat koordinat pertama . $(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

Sekarang, karena kita telah mendapatkan satu koordinat, kita perlu menghubungkannya ke fungsi distribusi awal dan kemudian mendapatkan fungsi distribusi bersyarat dengan kondisi : mana adalah fungsi kepadatan probabilitas dari distribusi marginal ; yaitu . $F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

Kemudian Anda menghasilkan variabel yang terdistribusi secara seragam di (tidak tergantung dari ) dan hubungkan ke invers . Karena itu, Anda memperoleh ; yaitu, memenuhi . Metode ini dapat digeneralisasi ke vektor dengan dimensi lebih banyak, tetapi kelemahannya adalah Anda harus menghitung, secara analitik atau numerik, banyak fungsi. Idenya dapat ditemukan di artikel ini juga: http://www.econ-pol.unisi.it/dmq/pdf/DMQ_WP_34.pdf . $\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Jika Anda tidak memahami arti memasukkan variabel seragam ke dalam fungsi distribusi probabilitas terbalik, cobalah membuat sketsa dari kasus univariat dan kemudian ingat apa interpretasi geometris dari fungsi terbalik.

— jem77bfp
sumber

Ide cerdas! Memiliki daya tarik intuitif yang sederhana. Tapi ya sepertinya mahal secara komputasi.

— MichaelChirico

(+1) poin yang sangat bagus. Akan lebih baik di awal mengatakan , kemudian mengalir lebih alami untuk pertama-tama menghasilkan satu distribusi mariginal dan kemudian distribusi bersyarat. Sangat bagus!

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

— KevinKim

1

Jika Anda siap untuk memberikan efisiensi, Anda dapat menggunakan alogoritma yang dibuang. Keuntungannya adalah, memungkinkan distribusi apa pun (tidak hanya Gaussian).

Mulailah dengan membuat dua urutan bilangan acak yang tidak berkorelasi dan dengan distribusi yang diinginkan. Biarkan dengan nilai koefisien korelasi yang diinginkan. Kemudian lakukan hal berikut: $\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

1) Hitung koefisien korelasi $c_{old}=corr(\{x_i\},\{y_i\})$

2) Menghasilkan dua munber acak dan $n_1$ $n_2: 1 \leq n_{1,2} \leq N$

3) Tukar angka dan $x_{n_1}$ $x_{n_2}$

4) Hitung korelasi baru $c_{new}=corr( \{x_i\},\{y_i\})$

5) Jikalalu pertahankan swap. Jangan batalkan swap. $|C-c_{new}| < |C-c_{old}|$

6) Jika stop, goto 1) $|C-c| < \epsilon$

Swap acak tidak akan mengubah distribusi marginal dari . ${x_i}$

Semoga berhasil!

— F. Jatpil
sumber

Saya sedikit bingung dengan notasi. Apakah vektor? Jika tidak, apa yang dimaksud dengan ?

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

— Cliff AB

Saya minta maaf, saya seorang hobi dalam statistik - saya tidak fammiliar dengan notasi. adalah angka, adalah sequnce angka (ditandai dengan rata-rata, varians, distribusi probabilitas), dan begitu juga . tidak ditulis dengan baik, itu harus benar

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

— F. Jatpil

Begitu ya, masuk akal. Saya mengabaikan " " di

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$

— Cliff AB