SVD dari matriks data setelah proyeksi ortogonal ke subruang

Katakanlah saya dapat mengetahui SVD dari beberapa matriks : $X$

X = U S V^{T}

$X = USV^T$

Jika saya memiliki matriks ortogonal $A$ (yaitu, $A$ adalah persegi dan memiliki kolom ortonormal), maka SVD $XA$ adalah

X A = U S W^{T}

$XA = USW^T$ mana

W = A^{T} V

$W = A^TV$ .

Tetapi dapatkah dikatakan tentang SVD $XB$ jika $B$ memiliki kolom ortonormal tetapi tidak harus persegi? Dengan kata lain, jika SVD $XB$ adalah $XB = DEF^T$ , dapatkah matriks $D$ , $E$ , atau $F$ ditulis dalam istilah SVD $X$ dan $B$ ?

Pembaruan: @whuber menunjukkan bahwa saya dapat memperluas $B$ menjadi ortogonal dengan menambahkan kolom ortonormal sampai $B$ adalah persegi. Sebut ini ortogonal matriks $\tilde B$ .

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Saya tahu SVD adalah (lihat di atas). Tapi sekarang aku berjuang untuk melihat apakah ada cara yang saya dapat menulis SVD dari dalam hal SVD dari . $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition

— mobeets
sumber

Sebagai contoh, itu bukan kasus bahwa SVD , yang kita miliki jika kita tahu adalah bujur sangkar. Ini karena bukan matriks persegi, yang harus benar dari SVD. masih memiliki kolom ortonormal.

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

— mobeets

B

$B$ dapat diperpanjang dengan menyatukan kolom ortonormal tambahan ke dalam matriks ortogonal (misalnya, gunakan proses Gram-Schmidt), sehingga mengurangi pertanyaan Anda menjadi kasus pertama.

— whuber

Keren, terima kasih @whuber. Jadi katakanlah adalah versi orthogonalized . Akankah mengetahui SVD memberi tahu saya sesuatu tentang SVD ?

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

— mobeets

Tuliskan dan Anda akan melihat betapa sederhana dan jelasnya hubungan itu.

— whuber

@whuber Aku tidak bisa melihatnya ... Inilah yang saya coba: Biarkan . Kemudian .

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

— mobeets

Jawaban:

Dalam SVD , di mana adalah matriks , adalah matriks ortogonal . $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

Misalkan adalah ortogonal matriks: yaitu, . Membiarkan $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

menjadi SVD dari . Jadi, menurut definisi, adalah matriks , adalah matriks diagonal dimensi , dan adalah matriks ortogonal. $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

Menghitung

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Karena , memiliki kolom ortonormal. Karena dan adalah bagian dari SVD, maka menurut definisi adalah diagonal dengan entri non-negatif dan adalah matriks ortogonal. Akibatnya, persamaan memberikan SVD . Persamaan menunjukkan bagaimana SVD ini terkait dengan yang dan . $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

— whuber
sumber

Terima kasih atas jawabannya. Meskipun tampaknya seperti ini adalah cara untuk menemukan SVD dari melalui komputasi SVD dari , sebagai lawan hanya menggunakan SVD dari . Saya berharap tahu jika ada cara untuk menemukan SVD tanpa harus menghitung SVD tambahan, seperti yang mungkin terjadi ketika adalah persegi.

X B

$XB$

S V^{'} B

$SV'B$

X

$X$

X B

$XB$

B

$B$

— mobeets

Untuk matriks dengan kolom ortonormal (tapi tidak persegi), saya ingin cara untuk menemukan sebuah SVD dari dalam hal SVD dari . $B$ $XB$ $X = USV^T$

Seperti yang disarankan oleh @whuber, langkah pertama menuju menemukan SVD adalah menambahkan kolom ke untuk membuatnya menjadi persegi (dan dengan demikian ortogonal). Sebut matriks ini , dan biarkan menjadi jumlah kolom . Kemudian karena adalah orthogonal, jika adalah SVD dari , maka adalah SVD dari . $XB$ $B$ $\tilde B = [B; B_{\perp}]$ $k$ $B_{\perp}$ $\tilde B$ $X = USV^T$ $X$ $X\tilde B = US(\tilde B^TV)^T$ $X \tilde B$

Karena dapat diperoleh dari dengan menjatuhkan kolom terakhir , masalah asli saya sekarang berkurang menjadi sebagai berikut: Mengingat SVD dari matriks , apakah ada cara untuk menemukan SVD dari , di mana adalah matriks yang dihasilkan dari menjatuhkan kolom terakhir ? (Di sini saya memiliki dan .) $XB$ $X\tilde B$ $k$ $Y = DEF^T$ $Y' = D'E'F'^T$ $Y'$ $k$ $Y$ $Y = X\tilde B$ $Y' = XB$

Masalah ini disebut sebagai "downdating the SVD", dan secara umum, tampaknya ada banyak pendekatan untuk melakukan ini. Satu pendekatan yang relevan ditemukan di sini , dan lebih banyak diskusi di sini .

Tapi secara umum, mengingat bahwa algoritma untuk downdating SVD muncul untuk menjadi bidang penelitian aktif, saya menyimpulkan bahwa tidak ada sederhana cara untuk menemukan SVD dari diberikan hanya SVD dari . $XB$ $X$

— mobeets
sumber

+1. Saya pikir Anda mengidentifikasi masalah dengan benar: tidak ada cara "sederhana". Saya menemukan ini agak intuitif jika Anda mempertimbangkan contoh mainan sederhana: misalnya awan data 2D memanjang ke arah diagonal. Dua vektor tunggal asli adalah diagonal. Mengalikan matriks data dengan matriks ortogonal persegi hanya memutar seluruh awan, sehingga vektor singular tetap sama, hingga rotasi. Tetapi memproyeksikan cloud data ke eg garis horizontal (1D subruang) akan berubah bentuk seluruhnya; sekarang satu-satunya vektor adalah horisontal. Vektor tunggal baru tidak terkait dengan yang lama.

— amoeba

Itu penjelasan intuitif yang bagus tentang perbedaannya. Pada awalnya saya merasa sangat mengecewakan bahwa mungkin ada hubungan yang sederhana untuk matriks ortogonal tetapi kemudian tidak lagi begitu Anda menghapus hanya satu kolom dari matriks itu. Tapi itu semua masuk akal sekarang. Terima kasih!

— mobeets

Saya setuju. Ketika saya pertama kali membaca posting Anda, saya berpikir: pertanyaan yang sangat naif! :-) jelas kita hanya perlu memutar vektor singular (dengan matriks "extended" menjadi matriks rotasi, seperti yang ditulis whuber) dan kemudian menjatuhkan beberapa (sesuai dengan bagian "extended"). Tapi ini tentu saja salah.

— amoeba