Analogi korelasi Pearson untuk 3 variabel

Saya tertarik pada apakah atau tidak "korelasi" dari tiga variabel adalah sesuatu, dan jika apa, apakah ini?

Koefisien korelasi momen produk Pearson

Sekarang pertanyaan untuk 3 variabel: Apakah

apa pun?

Dalam R sepertinya sesuatu yang bisa ditafsirkan:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Kami biasanya melihat korelasi antara 2 variabel yang diberi nilai variabel ketiga tetap. Bisakah seseorang mengklarifikasi?

Ini adalah memang sesuatu. Untuk mengetahuinya, kita perlu memeriksa apa yang kita ketahui tentang korelasi itu sendiri.

1. Matriks korelasi dari variabel acak bernilai vektor adalah matriks varians-kovarians, atau hanya "varians," dari versi standar dari . Yaitu, masing-masing digantikan oleh versi yang ulang.X X $\mathbf{X}=(X_1,X_2,\ldots,X_p)$$\mathbf{X}$$X_i$

2. Kovarian dan adalah harapan dari produk versi terpusat mereka. Yaitu, menulis X ′ i = X i - E [ X i ] dan X ′ j = X j - E [ X j ] , kami memilikiX $X_i$$X_j$$X^\prime_i = X_i - E[X_i]$$X^\prime_j = X_j - E[X_j]$

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. Varian $\mathbf{X}$ , yang akan saya tulis $\operatorname{Var}(\mathbf{X})$ , bukan angka tunggal. Ini adalah array nilai-nilai

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. Cara untuk memikirkan kovarian untuk generalisasi yang dimaksudkan adalah dengan menganggapnya sebagai tensor . Itu berarti itu seluruh koleksi jumlah $v_{ij}$ , diindeks oleh $i$ dan $j$ mulai dari $1$ sampai $p$ , yang nilainya berubah dalam cara yang dapat diprediksi terutama sederhana ketika $\mathbf{X}$ mengalami transformasi linear. Secara khusus, misalkan $\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$ menjadi variabel acak bernilai vektor lain yang didefinisikan oleh

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   Konstanta $a_i^{\,j}$ ($i$dan$j$adalahindeks-$j$bukan kekuatan) membentuk$q\times p$array$\mathbb{A} = (a_i^{\,j})$,$j=1,\ldots, p$dan$i=1,\ldots, q$. Linearitas harapan menyiratkan

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   Dalam notasi matriks,

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Semua komponen $\operatorname{Var}(\mathbf{X})$ sebenarnya adalah varian univariat, karena Polarisasi Identitas

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Ini memberitahu kita bahwa jika Anda memahami varian variabel acak univariat, Anda sudah memahami kovarian variabel bivariat: variabel tersebut adalah "hanya" kombinasi varian linear.

Ungkapan dalam pertanyaan itu benar-benar analog: variabel telah distandarisasi seperti pada ( 1 ) . Kita dapat memahami apa yang diwakilinya dengan mempertimbangkan apa artinya variabel apa pun , terstandarisasi atau tidak. Kami akan diganti setiap X i oleh versi berpusat, seperti dalam ( 2 ) , dan jumlah bentuk memiliki tiga indeks,$X_i$$(1)$$X_i$$(2)$

Ini adalah momen sentral (multivarian) dari tingkat $3$ . Seperti pada , mereka membentuk tensor: ketika Y = A X , maka$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Indeks dalam kisaran jumlah rangkap tiga ini atas semua kombinasi bilangan bulat dari hingga p .$1$$p$

Analog dari Identitas Polarisasi adalah

Di sisi kanan, mengacu pada momen ketiga sentral (univariat): nilai yang diharapkan dari kubus dari variabel terpusat. Ketika variabel distandarisasi, momen ini biasanya disebut skewness . Dengan demikian, kita mungkin berpikir μ 3 ( X ) sebagai yang skewness multivariat dari X . Ini adalah tensor peringkat tiga (yaitu, dengan tiga indeks) yang nilainya adalah kombinasi linear dari skewnesses berbagai jumlah dan perbedaan dari X i . Jika kita mencari interpretasi, maka, kita akan menganggap komponen-komponen ini sebagai ukuran dalam $\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$dimensi apa pun kemiringan diukur dalam satu dimensi. Dalam banyak kasus,

• Saat-saat pertama mengukur lokasi dari distribusi;

• Momen kedua (matriks varians-kovarians) mengukur penyebarannya ;

• Momen kedua terstandarisasi (korelasi) menunjukkan bagaimana penyebaran bervariasi dalam ruang dimensi; dan$p$

• Momen ketiga dan keempat yang terstandarisasi diambil untuk mengukur bentuk distribusi relatif terhadap penyebarannya.

Untuk menguraikan makna "bentuk" multidimensi, amati bahwa kita dapat memahami PCA sebagai mekanisme untuk mengurangi distribusi multivarian apa pun ke versi standar yang terletak di titik asal dan penyebaran yang sama di semua arah. Setelah PCA dilakukan, maka, akan memberikan indikator paling sederhana dari bentuk multidimensi distribusi. Ide-ide ini berlaku sama baiknya untuk data dengan variabel acak, karena data selalu dapat dianalisis dalam hal distribusi empiris mereka.$\mu_3$

Referensi

Alan Stuart & J. Keith Ord, Teori Lanjutan Statistik Kendall Edisi Kelima, Volume 1: Teori Distribusi ; Bab 3, Momen dan Cumulan . Oxford University Press (1987).

Lampiran: Bukti Identitas Polarisasi

Misalkan menjadi variabel aljabar. Ada 2 n cara untuk menambah dan mengurangi semua n dari mereka. Ketika kita meningkatkan masing-masing jumlah-dan-perbedaan ini ke n th kekuasaan, memilih tanda yang sesuai untuk masing-masing hasil tersebut, dan menambahkan mereka, kita akan mendapatkan kelipatan x 1 x 2 ⋯ x n .$x_1,\ldots, x_n$$2^n$$n$$n^\text{th}$$x_1x_2\cdots x_n$

Secara lebih formal, misalkan adalah himpunan semua n -tuple dari ± 1 , sehingga setiap elemen s ∈ S adalah vektor s = ( s 1 , s 2 , … , s n ) yang koefisien semua ± 1 . Klaimnya adalah$S=\{1,-1\}^n$$n$$\pm 1$$s\in S$$s=(s_1,s_2,\ldots,s_n)$$\pm 1$

Indeed, the Multinomial Theorem states that the coefficient of the monomial $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ (where the $i_j$ are nonnegative integers summing to $n$) in the expansion of any term on the right hand side is

In the sum $(1)$, the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$, with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$, equal to $1$, and the other of each pair involves the case $s_1=-1$, with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$, equal to $(-1)^{i_1+1}$. They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$. Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$. The only such monomial is $x_1x_2\cdots x_n$. It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$, QED.

We need take only half of each pair associated with $x_1$: that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$: $2^{2-1}2! = 4$ and $2^{3-1}3!=24$.

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$. Take expectations of both sides. The result follows by linearity of expectation.

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

If You need to calculate "correlation" between three or more variables, you could not use Pearson, as in this case it will be different for different order of variables have a look here. If you are interesting in linear dependency, or how well they are fitted by 3D line, you may use PCA, obtain explained variance for first PC, permute your data and find probability, that this value may be to to random reasons. I've discuss something similar here (see Technical details below).

Matlab code

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)