Metode Nystroem untuk Perkiraan Kernel

Saya telah membaca tentang metode Nyström untuk aproximation kernel peringkat rendah. Metode ini diimplementasikan dalam scikit-learn [1] sebagai metode untuk memproyeksikan sampel data ke pendekatan peringkat rendah dari pemetaan fitur kernel.

Sepengetahuan saya, diberikan set pelatihan dan fungsi kernel, itu menghasilkan pendekatan peringkat rendah dari matriks kernel dengan menerapkan SVD ke dan . $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

Namun, saya tidak mengerti bagaimana pendekatan peringkat rendah dari matriks Kernel dapat digunakan untuk memproyeksikan sampel baru ke ruang fitur kernel yang didekati . Makalah yang saya temukan (misalnya [2]) tidak banyak membantu, karena mereka sedikit bersifat didaktik.

Saya juga ingin tahu tentang kerumitan komputasi dari metode ini, baik dalam fase pelatihan maupun uji.

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— Daniel López
sumber

Mari kita turunkan perkiraan Nyström dengan cara yang seharusnya membuat jawaban atas pertanyaan Anda lebih jelas.

Asumsi kunci dalam Nyström adalah bahwa fungsi kernel adalah dari peringkat . (Benar-benar kita menganggap bahwa itu kira-kira pangkat , tetapi untuk kesederhanaan membiarkan hanya berpura-pura itu persis peringkat untuk saat ini.) Itu berarti bahwa setiap matriks kernel akan memiliki peringkat paling , dan khususnya adalah peringkat . Oleh karena itu ada nol eigenvalues, dan kita dapat menulis eigendecomposition dari sebagai $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ dengan vektor eigen disimpan di , dengan bentuk , dan nilai eigen disusun dalam , sebuah matriks diagonal .

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

Jadi, mari kita pilih elemen , biasanya seragam secara acak tetapi mungkin menurut skema lain - semua yang penting dalam versi yang disederhanakan ini adalah memiliki peringkat penuh. Setelah kita lakukan, cukup beri tanda baru pada titik-titik sehingga kita berakhir dengan matriks kernel dalam blok: mana kami mengevaluasi setiap entri dalam (yaitu ) dan ( $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$ ), tetapi tidak ingin mengevaluasi entri dalam

K_{22}

$K_{22}$

Sekarang, kita dapat membagi komposisi eigend menurut struktur blok ini juga: manaadalahdanadalah. Tetapi perhatikan bahwa sekarang kita memiliki . Jadi kita bisa menemukannya

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

dan

oleh eigendecomposing matriks dikenal

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

Kita juga tahu bahwa . Di sini, kita mengetahui segala sesuatu dalam persamaan ini kecuali , sehingga kita dapat menyelesaikan untuk apa nilai eigen yang menyiratkan: melipatgandakan kedua belah pihak dengan untuk mendapatkan Sekarang kami memiliki semua yang kami butuhkan untuk mengevaluasi : $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

$K_{22}$

$K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

$m$ $\Phi$ $K$

$x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & ... & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$

x_{new}

$x_\text{new}$

Φ_{uji} = K_{uji, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

Di atas, kita mengasumsikan bahwa matriks kernel

adalah persis peringkat

. Ini biasanya tidak akan terjadi; untuk Gaussian kernel, misalnya,

adalah selalu rank

, tetapi nilai eigen yang terakhir biasanya drop off cukup cepat, sehingga akan menjadi dekat dengan matriks rank

, dan rekonstruksi kami

atau

akan untuk menjadi dekat dengan nilai sebenarnya tetapi tidak persis sama. Mereka akan rekonstruksi yang lebih baik lebih dekat ruang eigen dari

sampai ke yang dari

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

keseluruhan, itulah sebabnya mengapa memilihpoin

tepatadalah penting dalam praktik.

K

$K$

m

$m$

Perhatikan juga bahwa jika memiliki nol nilai eigen, Anda dapat mengganti invers dengan pseudoinverses dan semuanya masih berfungsi; Anda baru saja mengganti dalam rekonstruksi dengan . $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

$K$ $\max(\lambda_i, 10^{-12})$

— Dougal
sumber

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

x_{m}

$x_m$

x

$x$

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$