SVD dari matriks data (PCA) setelah dihaluskan

Katakanlah saya memiliki matriks data terpusat dengan SVD .$n \times m$$A$$A = U \Sigma V^{T}$

Misalnya, kolom (pengukuran) yang spektra dengan frekuensi yang berbeda. Matriks dipusatkan sehingga baris-baris matriks dikurangi rata-ratanya. Ini untuk menafsirkan vektor singular kiri sebagai komponen utama.$m=50$$n=100$

Saya tertarik memahami bagaimana perubahan SVD ketika saya memuluskan setiap vektor kolom. Misalnya, mari kita menghaluskan setiap kolom 100x1 dengan kernel sederhana seperti [1/3, 2/3, 1/3].

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

Jadi matriks data baru adalah dan memiliki beberapa SVD .$A'=SA$$A' = U' \Sigma' V'^{T}$

Pikiran pertama saya adalah bahwa karena , saya harus mengharapkan vektor akan dihaluskan seperti vektor .$SA = SU \Sigma V^{T}$${U'}_i$$A_i$

Persamaan pertama ini terlihat seperti adalah vektor eigen dari :$(SU)_i$$A' A'^T$

$$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$$

Tapi saya tidak yakin tentang ini selanjutnya jika valid untuk mengatakan bahwa adalah vektor eigen dari :$V_i$$A'^T A'$

$$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$$

Ketika saya membandingkan SVD dan numerik, vektor singular kiri bukan yang saya harapkan, , tetapi mereka memiliki penampilan yang dihaluskan.$A$$A'$$U' \neq SU$

Adakah yang bisa membantu saya menghubungkan dan SVD setelah transformasi sederhana ini?$U \Sigma V^{T}$$U' \Sigma' V'^{T}$

Mengapa pikiran pertama Anda menyesatkan Anda:

Ketika Anda mengambil SVD dari sebuah matriks, dan adalah kesatuan (ortogonal). Jadi, sementara memang benar bahwa , itu bukan (umumnya) SVD dari . Hanya jika adalah kesatuan (yang dalam hal matriks penghalusan, itu tidak) apakah benar bahwa .$U$$V$$SA = SU \Sigma V^{T}$$SA$$S$$U' = SU$

Apakah ada cara simbolik yang elegan untuk menghubungkan kedua SVD? Saya tidak dapat menemukannya. Namun, matriks smoothing Anda adalah matriks Toeplitz. Mungkin saja matriks semacam itu memiliki beberapa sifat khusus yang mungkin menghasilkan analisis yang lebih bermanfaat. Jika Anda menemukan sesuatu, silakan bagikan dengan kami semua.

Kasus smoothing ekstrem:

Salah satu cara untuk berpikir tentang smoothing adalah kontinum dari no smoothing ke ekstrim di mana kita menghaluskan setiap kolom ke nilai rata-rata. Sekarang, dalam kasus ekstrim itu, matriks akan memiliki peringkat 1, dan hanya akan ada satu nilai singular bukan nol. Mari kita lihat SVD:

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

Persamaan terakhir mewakili SVD terpotong. Perhatikan bahwa vektor kiri dan kanan memiliki panjang 1. Anda dapat memperluas ke dalam matriks ortogonal. Demikian pula untuk . Kemudian hanya nol pad matriks tengah, dan Anda punya SVD penuh.$\frac{\mathbf{1}}{\sqrt{n}}$$\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$

Smoothing menengah

Agaknya Anda tidak akan melakukan smoothing ekstrem seperti itu. Jadi, apa artinya ini bagi Anda? Saat kami memperluas penghalusan, spektrum secara bertahap mengecil menjadi satu nilai. Misalnya, dalam simulasi saya *:

Seperti yang disarankan oleh derivasi di atas, akan mendekati 1-vektor normed, dan akan mendekati vektor-rata normed. Tetapi bagaimana dengan vektor lainnya?$U'_1$$V'_1$

Karena nilai singular yang sesuai menyusut, dan akan semakin bervariasi hingga menjadi pilihan yang sewenang-wenang untuk basis subruang ortogonal untuk dan . Dengan kata lain, itu hanya akan menjadi kebisingan.$U'_i$$V'_i$$U'_1$$V'_1$

Jika Anda memerlukan intuisi untuk alasan mengapa mereka "hanya berisik", pertimbangkan bahwa adalah jumlah angka dua dari pasangan: . Kami dapat sepenuhnya mengubah arah dan , dan itu hanya akan memengaruhi entri kurang dari .$SA$$\displaystyle \sum \sigma_i U'_i V'^T_i$$U'_i$$V'_i$$SA$$\sigma_i$

Visualisasi lain

Berikut cara lain untuk melihat smoothing kolom. Bayangkan setiap baris dalam matriks sebagai titik di -space. Saat kami menghaluskan kolom, setiap titik akan semakin dekat ke titik sebelumnya dan berikutnya. Secara keseluruhan, awan titik menyusut †:$m$

Semoga ini membantu!

_{[*]: Saya mendefinisikan keluarga smoothers yang semakin luas. Secara kasar, saya mengambil kernel [1/4, 1/2, 1/4], melilitkannya kali, memotongnya ke dimensi , dan menormalkannya jadi 1. Kemudian saya membuat grafik smoothing progresif dari orthogonal acak dan matriks normal acak.$z$$d$}

_{[†]: Smoothers dihasilkan dengan cara yang sama. dikonstruksikan sebagai serangkaian titik dalam -ruang yang terlihat menarik.$A$$2$}