Terikat untuk korelasi tiga variabel acak

28

Ada tiga variabel acak, . Tiga korelasi antara ketiga variabel itu sama. Itu adalah, $x,y,z$

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

Apa ketat terikat Anda dapat memberikan untuk ? $\rho$

correlation correlation-matrix

— pengguna1352399
sumber

1

Agaknya dengan "pho", maksudmu rho ( ). Namun, pertanyaan Anda tidak jelas. Apa yang Anda maksud dengan "Apa batasan paling ketat yang bisa Anda berikan"?

ρ

$\rho$

— gung - Reinstate Monica

Nah nama variabelnya hanya tiruan. Dengan ikatan yang paling ketat, maksud saya kira-kira seperti [-1, 1] untuk suatu korelasi, tetapi ini jelas bukan batas yang paling ketat.

— user1352399

Apakah maksud Anda rho = cor (x, y) = cor (x, z) = cor (y, z), dan berapa batas untuk rho?

— user31264

Ya maksud saya rho = cor (x, y) = cor (x, z) = cor (y, z) dan berapa batas untuk rho. Dilip, dapatkah Anda mengatakan bahwa rho harus non-negatif, yaitu> = 0?

— user1352399

1

Buku teks yang akan dikutip untuk ini adalah Seber & Lee "Analisis Regresi Linier" (Setidaknya itu dalam edisi pertama ...)

— kjetil b halvorsen

29

Umum korelasi dapat memiliki nilai tapi tidak . Jika , maka tidak dapat sama dengan tetapi sebenarnya . Nilai terkecil dari korelasi umum dari tiga variabel acak adalah . Lebih umum, korelasi umum minimum dari variabel acak adalah ketika, dianggap sebagai vektor, mereka berada pada simpul simpleks (dimensi ) dalam ruang -dimensi. $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ $-\frac{1}{2}$ $n$ $-\frac{1}{n-1}$ $n-1$ $n$

Pertimbangkan varians dari penjumlahan unit varians variabel acak . Kami memiliki mana adalah rata - rata nilai dari koefisien korelasi. Tetapi karena , kita dengan mudah mendapatkan dari yang $n$ $X_i$

\begin{aligned} var (\sum_{saya = 1}^{n} X_{saya}) & = \sum_{saya = 1}^{n} var (X_{saya}) + \sum_{saya = 1}^{n} \sum_{j \neq saya}^{n} cov (X_{saya}, X_{j}) \\ = n + \sum_{saya = 1}^{n} \sum_{j \neq saya}^{n} ρ_{X_{saya}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

Jadi, nilai rata-rata koefisien korelasi setidaknya . Jika semua koefisien korelasi memiliki yang sama nilai , maka mereka rata-rata juga sama dan jadi kita harus yang Apakah mungkin untuk memiliki variabel acak dengan nilai korelasi umum sama dengan ? Iya nih. Misalkan adalah variabel acak unit- yang tidak berkorelasi dan set . Kemudian, , sementara $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{saya}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ dan memberi Jadi adalah variabel acak yang mencapai nilai korelasi umum minimum . Perhatikan, secara kebetulan, bahwa , dan, yang dianggap sebagai vektor, variabel acak terletak pada hyperplane -dimensi

cov (Y_{saya}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{saya}, Y_{j}} = \frac{cov (Y_{saya}, Y_{j})}{\sqrt{var (Y_{saya}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ ruang -dimensi.

— Dilip Sarwate
sumber

25

Ikatan seketat mungkin adalah . $-1/2 \le \rho \le 1$ Semua nilai tersebut dapat benar-benar muncul - tidak ada yang mustahil.

Untuk menunjukkan tidak ada yang khusus mendalam atau misterius tentang hasilnya, jawaban ini pertama-tama menyajikan solusi yang sepenuhnya mendasar, hanya membutuhkan fakta yang jelas bahwa varians - sebagai nilai yang diharapkan dari kotak - harus non-negatif. Ini diikuti oleh solusi umum (yang menggunakan fakta-fakta aljabar yang sedikit lebih canggih).

Solusi dasar

Varian dari setiap kombinasi linear harus non-negatif. $x,y,z$ Biarkan varians dari variabel-variabel ini masing-masing menjadi dan . Semuanya bukan nol (karena kalau tidak beberapa korelasi tidak akan didefinisikan). Menggunakan sifat-sifat dasar varian yang dapat kita hitung $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / kamu) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

untuk semua bilangan real . $(\alpha, \beta, \gamma)$

Dengan asumsi , sedikit manipulasi aljabar menyiratkan ini setara dengan $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

Istilah kuadrat di sisi kanan adalah rasio dua sarana daya . The ketimpangan kekuasaan-rata SD (dengan bobot ) menegaskan rasio yang tidak dapat melebihi (dan akan sama ketika ). Aljabar sedikit lebih berarti $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

Contoh eksplisit dari bawah ini (melibatkan trivariate variabel Normal ) menunjukkan bahwa semua nilai tersebut, , sebenarnya muncul sebagai korelasi. Contoh ini hanya menggunakan definisi multivarian Normals, tetapi sebaliknya tidak memanggil hasil Kalkulus atau Aljabar Linier. $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

Solusi umum

Ikhtisar

Matriks korelasi apa pun adalah matriks kovarians dari variabel acak terstandarisasi, di mana - seperti semua matriks korelasi - haruslah positif semifinal. Secara setara, nilai eigennya adalah non-negatif. Ini memberlakukan kondisi sederhana pada : tidak boleh kurang dari (dan tentu saja tidak boleh melebihi ). Sebaliknya, apapun seperti benar-benar sesuai dengan matriks korelasi beberapa distribusi trivariate, membuktikan batas ini adalah ketat mungkin. $\rho$ $-1/2$ $1$ $\rho$

Penurunan kondisi pada $\rho$

Pertimbangkan oleh matriks korelasi dengan semua nilai-nilai off-diagonal sama untuk(Pertanyaannya menyangkut kasus tetapi generalisasi ini tidak lebih sulit untuk dianalisis.) Sebut saja Menurut definisi, adalah nilai eigen asalkan ada vektor bukan nol sedemikian rupa sehingga $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

Nilai eigen ini mudah ditemukan dalam kasus ini, karena

Membiarkan , hitung itu $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
Membiarkan dengan hanya di tempat (untuk ), hitung itu $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

Karena vektor eigen ditemukan sejauh span penuh dimensi ruang (bukti: baris yang mudah pengurangan menunjukkan nilai absolut dari determinan mereka sama , yang merupakan nol), mereka merupakan dasar dari semua vektor eigen. Karena itu, kami telah menemukan semua nilai eigen dan menentukan bahwa keduanya atau (yang terakhir dengan multiplisitas ). Selain ketidaksamaan yang terkenal puas dengan semua korelasi, non-negatif dari nilai eigen pertama lebih lanjut menyiratkan $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

sedangkan non-negatif dari nilai eigen kedua tidak memaksakan kondisi baru.

Bukti kecukupan kondisi

Implikasinya bekerja di kedua arah: asalkan matriks adalah non-negatif-pasti dan karenanya merupakan matriks korelasi yang valid. Sebagai contoh, ini adalah matriks korelasi untuk distribusi multinormal. Secara khusus, tulis $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

untuk kebalikan dari ketika Misalnya, ketika $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

Biarkan vektor variabel acak memiliki fungsi distribusi $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

di mana . Misalnya, ketika ini sama dengan $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

Matriks korelasi untuk variabel acak ini adalah $n$ $\mathbb{C}(\rho, n).$

Angka

Kontur fungsi kerapatan Dari kiri ke kanan, . Perhatikan bagaimana kerapatan bergeser dari terkonsentrasi di dekat bidang menjadi terkonsentrasi di dekat garis . $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

Kasus khusus dan juga dapat diwujudkan dengan distribusi yang menurun ; Saya tidak akan masuk ke rincian kecuali untuk menunjukkan bahwa dalam kasus sebelumnya distribusi dapat dianggap didukung pada hyperplane , di mana itu adalah jumlah dari mean- didistribusikan secara identik- Distribusi normal, sedangkan dalam kasus terakhir (korelasi positif sempurna) didukung pada baris yang dihasilkan oleh , di mana ia memiliki mean- distribusi Normal. $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

Lebih lanjut tentang non-kemunduran

Tinjauan analisis ini memperjelas bahwa matriks korelasi memiliki peringkat dan memiliki peringkat dari (karena hanya satu vektor eigen yang memiliki nilai eigen bukan nol). Untuk , ini membuat matriks korelasi menurun dalam kedua kasus. Jika tidak, keberadaan invers membuktikannya tidak rusak. $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— whuber
sumber

20

Matriks korelasi Anda adalah

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

Matriksnya adalah semidefinit positif jika semua anak di bawah umur utama adalah non-negatif. Anak di bawah umur utama adalah penentu dari blok "utara-barat" dari matriks, yaitu 1, penentu

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

dan penentu matriks korelasi itu sendiri.

1 jelas positif, minor utama kedua adalah , yang tidak negatif untuk korelasi yang dapat diterima . Penentu seluruh matriks korelasi adalah $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

Plot menunjukkan penentu fungsi pada rentang korelasi yang dapat diterima . $[-1,1]$ masukkan deskripsi gambar di sini

Anda melihat fungsi ini bukan negatif atas kisaran yang diberikan oleh @stochazesthai (yang juga bisa Anda periksa dengan mencari akar persamaan determinan).

— Christoph Hanck
sumber

Bukankah kita mengasumsikan dalam jawaban Anda bahwa ? Kenapa kita bisa?

V a r () = 1

$Var( )=1$

— Seorang pria tua di laut.

1

@Anold Anda sepertinya membaca "kovarians" di mana "korelasi" ditulis.

— whuber

6

Terdapat variabel acak , dan dengan korelasi berpasangan jika dan hanya jika matriks korelasi semidefinite positif. Ini hanya terjadi pada . $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— stochazesthai
sumber

2

dapatkah Anda menjelaskannya dengan sangat sederhana?

— Elizabeth Susan Joseph

1

Saya tidak berpikir ada penjelasan yang tidak membutuhkan pengetahuan tentang aljabar matriks. Saya sarankan Anda untuk melihat halaman Wikipedia ( en.wikipedia.org/wiki/… ).

— stochazesthai

4

Saya menemukan penjelasan yang hanya membutuhkan aljabar dasar (tingkat sekolah menengah) dan telah memasukkannya dalam jawaban saya.