Apakah ada interpretasi intuitif dari

107

Untuk matriks data diberikan (dengan variabel dalam kolom dan titik data dalam baris), sepertinya memainkan peran penting dalam statistik. Sebagai contoh, ini adalah bagian penting dari solusi analitik kuadrat terkecil biasa. Atau, untuk PCA, vektor eigennya adalah komponen utama data. $A$ $A^TA$

Saya mengerti bagaimana menghitung , tapi saya bertanya-tanya apakah ada interpretasi intuitif dari apa yang diwakili matriks ini, yang mengarah ke peran penting? $A^TA$

matrix covariance-matrix correlation-matrix

— Alec
sumber

2

Beberapa intuisi mungkin diberikan oleh analisis di stats.stackexchange.com/a/66295/919 .

— whuber

125

Secara geometris, matriks disebut matriks produk skalar (= produk titik, = produk dalam). Secara aljabar, ini disebut sum-of-squares-and-cross-products matrix ( SSCP ). $\bf A'A$

Elemen diagonal ke- nya sama dengan , di mana menunjukkan nilai-nilai di kolom ke- dari dan adalah jumlah seluruh baris. The th off-diagonal elemen di dalamnya adalah . $i$ $\sum a_{(i)}^2$ $a_{(i)}$ $i$ $\bf A$ $\sum$ $ij$ $\sum a_{(i)}a_{(j)}$

Ada sejumlah koefisien asosiasi penting dan matriks kuadratnya disebut persamaan sudut atau persamaan tipe SSCP:

Membagi matriks SSCP dengan , ukuran sampel atau jumlah baris , Anda mendapatkan matriks MSCP (mean-square-and-cross-product). Rumus berpasangan ukuran asosiasi ini adalah maka $n$ $\bf A$ (dengan vektordanmenjadi pasangan kolom dari). $\frac{\sum xy}{n}$ $x$ $y$ $\bf A$
Jika Anda memusatkan kolom (variabel) dari , maka adalah pencar (atau co-sebar, jika harus keras) matriks dan adalah matriks kovarians . Rumus kovarians berpasangan adalah $\bf A$ $\bf A'A$ $\mathbf {A'A}/(n-1)$ dengandanmenunjukkan kolom tengah. $\frac{\sum c_xc_y}{n-1}$ $c_x$ $c_y$
Jika Anda z- membakukan kolom (kurangi rata-rata kolom dan dibagi dengan deviasi standar), maka adalah matriks korelasi Pearson : korelasi adalah kovarians untuk variabel standar. Rumus korelasi adalah $\bf A$ $\mathbf {A'A}/(n-1)$ dengandanmenunjukkan kolom standar. Korelasi ini juga disebut koefisien linearitas. $\frac{\sum z_xz_y}{n-1}$ $z_x$ $z_y$
Jika Anda satuan skala kolom (membawa SS, jumlah-kuadrat, ke 1), maka adalah matriks kesamaan cosinus . Rumus berpasangan yang ekuivalen dengan demikian nampaknya adalah $\bf A$ $\bf A'A$ dengandanmenunjukkan kolom dinormalisasi L2. Kesamaan cosine juga disebut koefisien proporsionalitas. $\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$ $u_x$ $u_y$
Jika Anda pusat dan kemudian unit- skala kolom dari , maka adalah lagi Pearson korelasi matriks, karena korelasi adalah cosinus untuk variabel berpusat : $\bf A$ $\bf A'A$ $^{1,2}$ $\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Di samping keempat ukuran asosiasi utama ini, mari kita juga menyebutkan beberapa lainnya, juga berdasarkan pada , sebagai tambahan. Mereka dapat dilihat sebagai ukuran alternatif untuk cosinus kesamaan karena mereka mengadopsi berbeda dari normalisasi, penyebut dalam rumus: $\bf A'A$

Koefisien identitas [Zegers & ten Berge, 1985] memiliki penyebutnya dalam bentuk rata-rata aritmatika daripada rata-rata geometris: . Itu bisa 1 jika dan hanya jika kolom yang dibandingkan dariadalah identik. $\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$ $\bf A$
$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$
$\bf A$ $\bf \sqrt {A}'\sqrt A$

$^1$ $\bf A'A$ $\bf s$ $\bf A$ $n$ $\bf C = A'A-s's/ \it n$ $\mathbf C/(n-1)$ $\bf C$ $\bf d$ $\bf R=C/\sqrt{d'd}$

$^2$ $n$ (kecuali ketika menghitung mean, ke pusat).

— ttnphns
sumber

42

$A^TA$ $A$ $A$

$A$ $A^TA = I$ $-$

— NRH
sumber

39

@NRH memberikan jawaban teknis yang bagus.

$A^TA$ $A^2$

— Peter Flom
sumber

5

Meskipun jawaban lain lebih "secara teknis" benar, ini adalah jawaban yang paling intuitif.

— CatsLoveJazz

3

$A'A$ $m \times n$ $A: R^n \rightarrow R^m$ $A$

$(A'A): R^n \rightarrow R^n$ $\{e_1,..., e_n\}$ $d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

(B) Rentang (A) = Col (A), dengan definisi Col (A). Jadi A | Row (A) memetakan Row (A) ke dalam Col (A).

$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

$A(R^n)=A(\text{Row}(A))$ $A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Kebetulan memberikan bukti bahwa peringkat Row = peringkat kolom!]

$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

$A'A(R^n) = \text{Row(A)}$

— Marshall M. Cohen
sumber

2

L A T E X

$\LaTeX$

2

$\textbf{A}^T\textbf{A}$

$\textbf{A}^T$ $\textbf{A}$ $row_p$ $\textbf{A}^T$ $col_p$ $\textbf{A}$ $dot(row_p, col_p)$ $(p,p)$ $\textbf{A}^T \textbf{A}$

$p$ $\textbf{A}^T$ $k$ $\textbf{A}$ $dot(row_p, col_k)$ $(p,k)$

$(p, k)$ $\textbf{A}^T\textbf{A}$ $row_p$ $col_k$ $row_i$ $col_j$ $row_i$ $col_j$ , dan sebaliknya.

$\textbf{A}$ $i$ $j \neq i$

— camillejr
sumber

1

$x\to E[x^2]$ $A\to A^TA$

$x$ $x_i$

a = [\begin{matrix} x_{1} \\ x_{2} \\ \dots \\ x_{n} \end{matrix}]

$a=\begin{bmatrix} x_1 \\ x_2 \\ \dots \\ x_n \end{bmatrix}$

$x$

\bar{x^{2}} = \frac{a \cdot a}{n}

$\bar{x^2}=\frac{a\cdot a} n$

A^{T} A

$A^TA$

$\sigma^2=E[x^2]$ $A^TA$ $A^TA$

— Aksakal
sumber