Kondisi yang memadai dan diperlukan untuk nilai eigen nol dari matriks korelasi

11

Diberikan variabel acak , dengan distribusi probabilitas , matriks korelasi adalah semi-pasti positif, yaitu nilai eigennya positif atau nol. $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

Saya tertarik pada kondisi pada yang diperlukan dan / atau cukup untuk untuk memiliki nilai eigen nol. Misalnya, syarat yang memadai adalah bahwa variabel acak tidak independen: untuk beberapa bilangan real . Misalnya, jika , maka adalah vektor eigen dari dengan nilai eigen nol. Jika kita memiliki batasan linear independen pada dari jenis ini, itu akan menyiratkan nol nilai eigen. $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

Setidaknya ada satu kemungkinan tambahan (tetapi sepele), ketika untuk beberapa (yaitu ), karena dalam hal itu case memiliki kolom dan garis nol: . Karena tidak terlalu menarik, saya mengasumsikan bahwa distribusi probabilitas tidak dalam bentuk itu. $X_a=E[X_a]$ $a$ $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ $C_{ij}$ $C_{ia}=C_{ai}=0,\,\forall i$

Pertanyaan saya adalah: apakah batasan linear satu-satunya cara untuk menginduksi nol nilai eigen (jika kita melarang pengecualian sepele yang diberikan di atas), atau bisakah kendala non-linear pada variabel acak juga menghasilkan nol nilai eigen ? $C$

correlation

— Adam
sumber

1

Menurut definisi, kumpulan vektor yang menyertakan vektor nol bergantung secara linear, jadi kemungkinan tambahan Anda bukanlah sesuatu yang baru atau berbeda. Bisa tolong jelaskan apa yang Anda maksud dengan "memiliki eigenvalue"? Itu terlihat seperti semacam kesalahan ketik.

m

$m$

— Whuber

@whuber: ya, salah ketik. Dikoreksi. Saya pikir dua kondisi berbeda: satu adalah tentang hubungan antara variabel, sedangkan yang lain adalah tentang probabilitas hanya variabel (yaitu ).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Adam

Rumusan pertanyaan Anda membingungkan. Ini terlihat seperti teorema dasar aljabar linier, tetapi referensi untuk variabel acak "independen" menunjukkan bahwa mungkin tentang sesuatu yang lain sama sekali. Apakah benar untuk memahami bahwa setiap kali Anda menggunakan "independen" yang Anda maksudkan dalam arti independensi linear dan bukan dalam arti variabel acak independen (statistik)? Referensi Anda untuk "data yang hilang" bahkan lebih membingungkan, karena itu menunjukkan "variabel acak" Anda mungkin benar-benar berarti hanya kolom dari matriks data. Akan baik untuk melihat makna ini diklarifikasi.

— whuber

@whuber: Saya sudah mengedit pertanyaan. Semoga ini lebih jelas.

— Adam

Kondisi untuk independensi tidak harus nol (konstanta apa pun akan dilakukan), kecuali jika rata-rata setiap adalah nol.

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

Mungkin dengan menyederhanakan notasi kita bisa mengeluarkan ide-ide penting. Ternyata kita tidak perlu melibatkan harapan atau formula rumit, karena semuanya murni aljabar.

Sifat aljabar dari objek matematika

Pertanyaan tersebut menyangkut hubungan antara (1) matriks kovarians dari himpunan terbatas variabel acak dan (2) hubungan linier di antara variabel-variabel tersebut, yang dianggap sebagai vektor . $X_1, \ldots, X_n$

Ruang vektor yang dimaksud adalah himpunan semua variabel acak terbatas-varians (pada setiap ruang probabilitas yang diberikan ) modulo subruang variabel hampir pasti konstan, dilambangkan (Yaitu, kami menganggap dua variabel acak dan sebagai vektor yang sama ketika ada nol peluang bahwa berbeda dari yang diharapkan.) Kami hanya berurusan dengan vektor dimensi-terbatas. ruang dihasilkan oleh yang membuat ini menjadi masalah aljabar dan bukan analitik. $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$

Apa yang perlu kita ketahui tentang varian

$V$ lebih dari sekadar ruang vektor: adalah modul kuadratik, karena dilengkapi dengan varians. Yang perlu kita ketahui tentang varian adalah dua hal:

Variansnya adalah fungsi bernilai skalar dengan properti yang untuk semua vektor $Q$ $Q(aX)=a^2Q(X)$ $X.$
Variansnya adalah nondegenerate.

Yang kedua perlu penjelasan. menentukan "produk titik," yang merupakan bentuk bilinear simetris yang diberikan oleh $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(Hal ini tentu saja tidak lain dari kovarians dari variabel dan ) Vektor dan adalah orthogonal ketika dot produk mereka adalah The komplemen orthogonal dari setiap himpunan vektor terdiri dari semua vektor orthogonal untuk setiap elemen ditulis $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

Ini jelas merupakan ruang vektor. Ketika , tidak berubah. $V^0 = \{0\}$ $Q$

Izinkan saya untuk membuktikan bahwa varians memang tidak rusak, meskipun mungkin tampak jelas. Misalkan adalah elemen bukan nol dari Ini berarti untuk semuasecara setara, $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

untuk semua vektor Mengambil memberi $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

dan dengan demikian Namun, kita tahu (menggunakan Ketimpangan Chebyshev, mungkin) bahwa satu-satunya variabel acak dengan varians nol hampir pasti konstan, yang mengidentifikasi mereka dengan vektor nol dalam QED. $Q(X)=0.$ $V,$

Menafsirkan pertanyaan

Kembali ke pertanyaan, dalam notasi sebelumnya matriks kovarians dari variabel acak hanyalah array reguler dari semua produk titik mereka,

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

Ada cara yang baik untuk berpikir tentang : ia mendefinisikan transformasi linear pada dengan cara biasa, dengan mengirim vektor ke dalam vektor yang komponen diberikan oleh aturan perkalian matriks $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

The kernel transformasi linear ini adalah ruang bagian mengirimkan ke nol:

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

Persamaan sebelumnya menyiratkan bahwa ketika untuk setiap $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

Karena ini berlaku untuk setiap ia berlaku untuk semua vektor yang direntang oleh : yaitu, itu sendiri. Akibatnya, ketika vektor yang diberikan oleh terletak di Karena adalah nondegenerate, ini berarti Yaitu, menggambarkan ketergantungan linear di antara variabel acak asli. $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

Anda dapat dengan mudah memeriksa bahwa rantai penalaran ini dapat dibalik:

Ketergantungan linear antara karena vektor berada dalam korespondensi satu-ke-satu dengan elemen-elemen dari kernel $X_j$ $T.$

(Ingat, pernyataan ini masih menganggap sebagai didefinisikan hingga pergeseran konstan di lokasi - yaitu, sebagai elemen --rather daripada sebagai variabel hanya acak.) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Akhirnya, menurut definisi, sebuah nilai eigen dari adalah setiap skalar yang terdapat nol vektor dengan Ketika adalah nilai eigen, ruang vektor eigen terkait adalah (jelas) kernel $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

Ringkasan

Kami telah tiba pada jawaban atas pertanyaan: himpunan dependensi linier dari variabel acak, elemen qua dari sesuai satu-ke-satu dengan kernel dari matriks kovarians mereka Hal ini terjadi karena variansnya adalah bentuk kuadrat nondegenerate. Kernel juga merupakan ruang eigens yang terkait dengan nilai eigen nol (atau hanya subruang nol ketika tidak ada nilai eigen nol). $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

Referensi

Saya telah banyak mengadopsi notasi dan beberapa bahasa Bab IV dalam Bahasa Indonesia

Jean-Pierre Serre, Kursus Aritmatika. Springer-Verlag 1973.

— whuber
sumber

Wah, bagus sekali! Hanya pertanyaan untuk memastikan bahwa saya mengerti segalanya: ketika Anda menulis " sebagai vektor", Anda tidak bermaksud mengumpulkan variabel acak dalam vektor (yaitu ), atau apakah Anda? Jika saya benar, saya menduga Anda mengumpulkan nilai yang mungkin dari variabel acak ke dalam vektor, sedangkan distribusi probabilitas disembunyikan ke dalam definisi varians, bukan?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Adam

Saya pikir aspek utama yang tidak begitu jelas adalah sebagai berikut (yang mungkin hanya menunjukkan kurangnya pengetahuan formal saya tentang teori probabilitas): Anda tampaknya menunjukkan bahwa jika ada nilai eigen 0, maka kita memiliki misalnya . Batasan ini tidak merujuk pada distribusi probabilitas , yang tersembunyi di (saya pikir ini adalah titik pintar tentang demonstrasi ini). Tetapi apa artinya memiliki tanpa referensi ke ? Atau apakah itu hanya menyiratkan bahwa , tetapi kemudian bagaimana kita tahu bahwa itu harus merupakan kombinasi linear dari dan dalam fungsi delta ?

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ $X_1$ $X_2$

— Adam

Saya khawatir saya tidak mengerti penggunaan "fungsi delta" Anda dalam konteks ini, Adam. Itu sebagian karena saya melihat tidak perlu untuk itu dan sebagian karena notasinya ambigu: apakah itu akan menjadi delta Kronecker atau delta Dirac, misalnya?

— whuber

Itu akan menjadi Kronecker atau Dirac tergantung pada variabel (diskrit atau kontinu). Delta ini dapat menjadi bagian dari ukuran integrasi, misalnya saya mengintegrasikan lebih dari 2-oleh-2 matriks (jadi empat variabel nyata , , dan , dengan beberapa bobot (katakanlah ), atau saya mengintegrasikan lebih dari satu sub-grup. Jika itu adalah matriks simetris (menyiratkan misalnya ), saya dapat secara resmi memaksakan bahwa dengan mengalikan dengan akan menjadi kendala linear Contoh kendala non-linear diberikan dalam komentar di bawah jawaban Martijn Weterings

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Adam

(lanjutan) Pertanyaannya adalah: apa kendala non-linear yang dapat saya tambahkan pada variabel saya dapat menginduksi nilai eigen 0. Dengan jawaban Anda, tampaknya: hanya kendala non-linear yang menyiratkan kendala linear (seperti yang dicontohkan dalam komentar di bawah jawaban Martijn Weterings). Mungkin masalahnya adalah cara saya berpikir tentang masalah ini dari sudut pandang fisikawan, dan saya berjuang untuk menjelaskannya dalam bahasa yang berbeda (saya pikir di sini adalah tempat yang tepat untuk mengajukan pertanyaan ini, bukan fisika. SE).

— Adam

5

Independensi linier tidak hanya cukup tetapi juga kondisi yang diperlukan

Untuk menunjukkan bahwa matriks varians-kovarians memiliki nilai eigen yang sama dengan nol jika dan hanya jika variabelnya tidak linier independen, hanya perlu diperlihatkan bahwa "jika matriks memiliki nilai eigen yang sama dengan nol maka variabelnya tidak bebas linear".

Jika Anda memiliki nilai eigen nol untuk maka ada beberapa kombinasi linear (ditentukan oleh vektor eigen ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

seperti yang

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

yang berarti perlu konstan dan dengan demikian variabel harus dijumlahkan menjadi konstanta dan keduanya merupakan konstanta itu sendiri (kasus sepele) atau tidak bebas linear. $Y$ $X_i$

^{- baris pertama dalam persamaan dengan disebabkan oleh properti kovarians $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{- langkah dari baris kedua ke baris adalah karena properti dari nilai eigen nol}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

Kendala non-linear

Jadi, karena kendala linear adalah kondisi yang diperlukan (tidak hanya cukup), kendala non-linear hanya akan relevan ketika mereka secara tidak langsung menyiratkan kendala linier (perlu).

Bahkan, ada korespondensi langsung antara vektor eigen terkait dengan nilai eigen nol dan batasan linear.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

Jadi kendala non-linear yang mengarah ke nilai eigen nol harus, bersama-sama digabungkan, menghasilkan beberapa kendala linear.

Bagaimana kendala non-linear dapat menyebabkan kendala linear

Contoh Anda dalam komentar dapat menunjukkan hal ini secara intuitif bagaimana kendala non-linear dapat menyebabkan kendala linear dengan membalikkan derivasi. Berikut kendala non-linear

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

dapat dikurangi menjadi

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

Anda bisa membalikkan ini. Katakanlah Anda memiliki kendala non-linear plus linear, maka tidak aneh untuk membayangkan bagaimana kita dapat mengganti salah satu kendala linear dengan kendala non-linear, dengan mengisi kendala linear ke dalam kendala non-linear. Misalnya ketika kita mengganti dan dalam bentuk non-linear maka Anda dapat membuat hubungan lain . Dan ketika Anda mengalikan dan maka Anda mendapatkan . $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ $ac=-bd$

— Sextus Empiricus
sumber

Saya kira ini (dan jawaban dengan whuber) adalah jawaban tidak langsung untuk pertanyaan saya (yaitu: "adalah ketergantungan linear satu-satunya cara untuk mendapatkan nilai eigen nol") dengan cara ini: bahkan jika ketergantungan antara variabel acak tidak linear, itu selalu dapat ditulis ulang sebagai ketergantungan linear dengan hanya menulis . Meskipun saya benar-benar mencari cara untuk mengkarakterisasi kemungkinan kendala non-linear itu sendiri, saya kira itu tetap merupakan hasil yang bermanfaat.

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

— Adam

Ya, saya tahu ... apa yang saya katakan adalah bahwa jika ada ketergantungan non-linear dan ada nilai eigen nol, maka dengan jawaban Anda, itu berarti bahwa ketergantungan non-linear dapat "diperhitungkan" dalam beberapa cara menjadi ketergantungan linear. Ini adalah versi yang lebih lemah dari apa yang saya cari, tetapi masih ada sesuatu.

— Adam

Anda memberi contoh yang tidak berfungsi, yang tidak berarti bahwa itu tidak mungkin terjadi ...

— Adam

Berikut ini adalah contoh tandingan dari apa yang Anda katakan (jika Anda pikir tidak, maka mungkin membantu kami menemukan apa yang salah dengan rumusan masalah saya :)): Ambil matriks acak 2-by-2 , dengan kendala non-linear dan . Ketiga kendala non-linier ini dapat ditulis ulang dalam 2 batasan linear, dan satu linear: artinya matriks kovarians memiliki dua vektor eigen. Hapus kendala , dan mereka menghilang.

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

— Adam

M_{11} = X_{1}

$M_{11}=X_1$ , , dan . adalah , , (hanya dua yang independen). Mereka tidak menyiratkan nilai eigen nol. Namun, menambahkan tidak menyiratkan dua vektor eigen dengan 0 nilai eigen.

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

— Adam

2

Misalkan memiliki vektor eigen dengan nilai eigen yang sesuai , maka . Dengan demikian, oleh ketidaksetaraan Chebyshev, hampir pasti konstan dan sama dengan . Yaitu, setiap nilai eigen nol sesuai dengan batasan linear, yaitu . Tidak perlu mempertimbangkan kasus khusus. $C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$

Dengan demikian, kami menyimpulkan:

"Apakah batasan linear satu-satunya cara untuk menginduksi nol nilai eigen [?]"

Iya.

"dapatkah batasan non-linear pada variabel acak juga menghasilkan nol nilai eigen C?"

Ya, jika mereka menyiratkan kendala linier.

— ekvall
sumber

Saya setuju. Saya berharap seseorang dapat lebih spesifik pada jenis kendala non-linear, tetapi saya kira sulit untuk melakukan yang lebih baik jika kita tidak menentukan batasannya.

— Adam

2

Marix kovarian dari adalah simetris sehingga Anda dapat mendiagnosisnya sebagai , dengan nilai eigen dalam matriks diagonalMenulis ulang ini sebagai , rhs adalah matriks kovarian QQ , jadi nol nilai eigen pada lhs sesuai dengan kombinasi linear dengan distribusi degenerasi. $C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— Hasse1987
sumber

Ini adalah deskripsi ringkas yang sangat bagus, tetapi bagaimana kita bisa membuatnya lebih intuitif daripada ?

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$

— Sextus Empiricus