Bukti kedekatan fungsi kernel di bawah produk pointwise

13

Bagaimana saya bisa membuktikan bahwa produk dua fungsi kernel adalah fungsi kernel?

machine-learning kernel-trick

— Gigili
sumber

18

Menurut produk point-wise, saya berasumsi maksud Anda bahwa jika keduanya merupakan fungsi kernel yang valid, maka produk mereka $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{hal} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

juga merupakan fungsi kernel yang valid.

Membuktikan properti ini agak mudah ketika kita menggunakan teorema Mercer. Karena adalah kernel yang valid, kami tahu (melalui Mercer) bahwa mereka harus mengakui representasi produk dalam. Biarkan menunjukkan vektor fitur dan menyatakan sama untuk . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = Sebuah (x)^{T} Sebuah (y), Sebuah (z) = [{Sebuah}_{1} (z), {Sebuah}_{2} (z), ... {Sebuah}_{M.} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), ... b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Jadi adalah fungsi yang menghasilkan vektor -dim, dan menghasilkan vektor -dim. $a$ $M$ $b$ $N$

Selanjutnya, kita cukup menulis produk dalam bentuk dan , dan melakukan beberapa pengelompokan ulang. $a$ $b$

\begin{aligned} k_{hal} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M.} {Sebuah}_{m} (x) {Sebuah}_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M.} \sum_{n = 1}^{N} [{Sebuah}_{m} (x) b_{n} (x)] [{Sebuah}_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M.} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

di mana adalah vektor dimensi, st . $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

Sekarang, karena kita dapat menulis sebagai produk dalam menggunakan peta fitur , kita tahu adalah kernel yang valid (melalui teorema Mercer). Hanya itu yang ada untuk itu. $k_p(x,y)$ $c$ $k_p$

— Mike Hughes
sumber

Bagaimana Anda tahu bahwa fitur ruang Hilbert adalah dimensi-terbatas? Tidak bisakah itu bahkan tidak dapat dipisahkan?

— Andrei Kh

Menurut paragraf pertama Anda, kami hanya tahu kernel keberadaan representasi produk dalam. Tetapi dalam kesimpulan Anda, Anda menggunakan bahwa keberadaan representasi produk dalam menyiratkan bahwa adalah kernel. Mengapa itu valid?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik

3

Bagaimana dengan bukti berikut:

Sumber: ceramah metode kernel UChicago , halaman 5

— PALEN
sumber

0

Asumsikan dan adalah matriks kernel dari dua kernel ini dan , masing-masing, dan mereka adalah PSD. Kami mendefinisikan dan ingin membuktikannya juga merupakan kernel. Ini setara untuk membuktikan matriks kernelnya yang sesuai adalah PSD. $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ adalah PSD (Produk kronecker dari dua PSD adalah PSD).
$K$ adalah submatrix utama dari , dan karena itu adalah PSD ( utama PSD adalah PSD). $K_3$

— ceyao zhang
sumber