Hubungan antara SVD dan PCA. Bagaimana cara menggunakan SVD untuk melakukan PCA?

Analisis komponen utama (PCA) biasanya dijelaskan melalui dekomposisi eigen dari matriks kovarians. Namun, dapat juga dilakukan melalui dekomposisi nilai singular (SVD) dari data matriks . Bagaimana cara kerjanya? Apa hubungan antara kedua pendekatan ini? Apa hubungan antara SVD dan PCA?$\mathbf X$

Atau dengan kata lain, bagaimana cara menggunakan SVD dari matriks data untuk melakukan pengurangan dimensionalitas?

Biarkan matriks data berukuran n × p , di mana n adalah jumlah sampel dan p adalah jumlah variabel. Mari kita asumsikan bahwa itu berpusat , artinya kolom telah dikurangi dan sekarang sama dengan nol.$\mathbf X$$n \times p$$n$$p$

Kemudian kovarians matriks C diberikan oleh C = X ⊤ X / ( n - 1 ) . Ini adalah matriks simetris dan sehingga dapat didiagonalisasi: C = V L V ⊤ , di mana V adalah matriks vektor eigen (setiap kolom adalah vektor eigen) dan L adalah matriks diagonal dengan nilai eigen λ i dalam urutan menurun di diagonal . Vektor eigen disebut sumbu utama atau arah utama$p \times p$$\mathbf C$$\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

$$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$$ $\mathbf V$$\mathbf L$$\lambda_i$dari data. Proyeksi data pada sumbu utama disebut komponen utama , juga dikenal sebagai skor PC ; ini dapat dilihat sebagai variabel baru, yang ditransformasikan. The -th komponen utama diberikan oleh j th kolom X V . Koordinat i -th data titik dalam ruang PC baru diberikan oleh i baris -th X V .$j$$j$$\mathbf {XV}$$i$$i$$\mathbf{XV}$

Jika sekarang kita melakukan dekomposisi nilai singular , kita memperoleh dekomposisi X = U S V ⊤ , di mana U adalah matriks kesatuan dan S adalah matriks diagonal dari nilai singular s i . Dari sini orang dapat dengan mudah melihat bahwa C = V S U ⊤ U S V ⊤ / ( n - 1 ) = V S$\mathbf X$

$$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$$ $\mathbf U$$\mathbf S$$s_i$artinya vektor singular kananVadalah arah utama dan bahwa nilai singular terkait dengan nilai eigen dari matriks kovarians melaluiλi=s 2 i /(n-1). Komponen utama yang diberikan olehXV=USV⊤V=US. $$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$$ $\mathbf V$$\lambda_i = s_i^2/(n-1)$$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$

Untuk meringkas:

1. Jika , maka kolom V adalah arah / sumbu utama.$\mathbf X = \mathbf U \mathbf S \mathbf V^\top$$\mathbf V$
2. Kolom merupakan komponen utama ( "skor").$\mathbf {US}$
3. Nilai singular terkait dengan nilai eigen dari matriks kovarians melalui . Nilai Eigen λ saya menunjukkan varian PC masing-masing.$\lambda_i = s_i^2/(n-1)$$\lambda_i$
4. Skor standar yang diberikan oleh kolom dan pembebanan diberikan oleh kolomVS/$\sqrt{n-1}\mathbf U$ . Lihat misalnya disinidan disiniuntuk alasan "memuat" tidak boleh dikacaukan dengan petunjuk utama.$\mathbf V \mathbf S/\sqrt{n-1}$
5. Di atas benar hanya jika berpusat. $\mathbf X$Hanya kemudian adalah matriks kovarians sama dengan .$\mathbf X^\top \mathbf X/(n-1)$
6. Di atas hanya benar untuk memiliki sampel dalam baris dan variabel dalam kolom. Jika variabel dalam baris dan sampel dalam kolom, maka dan bertukar interpretasi.U $\mathbf X$$\mathbf U$$\mathbf V$
7. Jika seseorang ingin melakukan PCA pada matriks korelasi (bukan matriks kovarians), maka kolom tidak hanya dipusatkan, tetapi distandarisasi juga, yaitu dibagi dengan standar deviasi mereka.$\mathbf X$
8. Untuk mengurangi dimensi dari data dari ke , pilih kolom pertama dari , dan bagian kiri atas . Produk mereka adalah matriks mengandung PC pertama .k < p k U k × k S U k S k n × k $p$$k<p$$k$$\mathbf U$$k\times k$$\mathbf S$$\mathbf U_k \mathbf S_k$$n \times k$$k$
9. Selanjutnya mengalikan PC pertama dengan sumbu utama yang sesuai hasil matriks yang memiliki asli ukuran tetapi peringkat lebih rendah (peringkat ). Matriks ini menyediakan rekonstruksi data asli dari PC pertama . Ini memiliki kesalahan rekonstruksi serendah mungkin, lihat jawaban saya di sini .V ⊤ k X k = U ⊤ k S ⊤ k V ⊤ k n × p k X k$k$$\mathbf V_k^\top$$\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$$n \times p$$k$$\mathbf X_k$$k$
10. Tegasnya, adalah n × n ukuran dan V adalah p × p ukuran. Namun, jika n > p maka kolom n - p terakhir dari U adalah arbitrer (dan baris S yang terkait adalah nol konstan); karena itu kita harus menggunakan ukuran ekonomi (atau tipis ) SVD yang mengembalikan U dari ukuran n × p , menjatuhkan kolom yang tidak berguna. Untuk n ≫ p besar , matriks $\mathbf U$$n\times n$$\mathbf V$$p \times p$$n>p$$n-p$$\mathbf U$$\mathbf S$$\mathbf U$$n\times p$$n\gg p$$\mathbf U$jika tidak akan menjadi besar tidak perlu. Hal yang sama berlaku untuk situasi yang berlawanan dari .$n\ll p$

---

Tautan lebih lanjut

• Apa hubungan intuitif antara SVD dan PCA - utas yang sangat populer dan sangat mirip tentang matematika.SE.

• Mengapa PCA data menggunakan SVD data? - diskusi tentang apa manfaat melakukan PCA melalui SVD [jawaban singkat: stabilitas numerik].

• PCA dan analisis Korespondensi dalam hubungannya dengan Biplot - PCA dalam konteks beberapa teknik kongenerik, semuanya didasarkan pada SVD.

• Apakah ada kelebihan SVD dibandingkan PCA? - pertanyaan yang menanyakan apakah ada manfaat dalam menggunakan SVD daripada PCA [jawaban singkat: pertanyaan buruk].

• Memahami analisis komponen utama, vektor eigen & nilai eigen - jawaban saya memberikan penjelasan non-teknis PCA. Untuk menarik perhatian, saya mereproduksi satu gambar di sini:

Saya menulis cuplikan Python & Numpy yang menyertai jawaban @ amoeba dan saya tinggalkan di sini kalau-kalau itu berguna untuk seseorang. Komentar sebagian besar diambil dari jawaban @ amoeba.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

Biarkan saya mulai dengan PCA. Misalkan Anda memiliki n titik data yang masing-masing terdiri dari angka d (atau dimensi). Jika Anda memusatkan data ini (kurangi titik data rata-rata dari setiap vektor data x i ), Anda dapat menumpuk data untuk membuat matriks$\mu$$x_i$

$$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$$

Matriks kovarians

$$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$$

$S$

$$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$$

$v_i$$i$$\lambda_i$$i$$S$$i$

$A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$$u_i$$v_i$

$A$$\mathbb S$$u_i$$v_i$

$X$$A = X$

$$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$$

$\{ u_i \}$$\{ v_i \}$$S$$v_i$

$$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$$

$\sigma_i$

$$\sigma_i^2 = (n-1) \lambda_i\,.$$

$u_i$$X$$u_i$$X$$i$$v_i$$X$

Saya membahas lebih detail dan manfaat hubungan antara PCA dan SVD dalam artikel yang lebih panjang ini .