Peta fitur untuk kernel Gaussian

Dalam SVM, kernel Gaussian didefinisikan sebagai: mana x, y \ in \ mathbb {R ^ n} . Saya tidak tahu persamaan eksplisit \ phi . Saya ingin mengetahuinya.

$$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$$ $x, y\in \mathbb{R^n}$$\phi$

Saya juga ingin tahu apakah

$$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$$ di mana $c_i\in \mathbb R$ . Sekarang, saya pikir itu tidak sama, karena menggunakan kernel menangani situasi di mana linear tidak bekerja. Saya tahu $\phi$ memproyeksikan x ke ruang tanpa batas. Jadi jika masih tetap linier, berapa pun dimensinya, svm tetap tidak bisa membuat klasifikasi yang baik.

Anda dapat memperoleh persamaan eksplisit $\phi$ untuk kernel Gaussian melalui perluasan seri Penjahit $e^x$ . Untuk kesederhanaan notasi, asumsikan $x\in \mathbb{R}^1$ :

$$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$$

Ini juga dibahas secara lebih rinci dalam slide-slide ini oleh Chih-Jen Lin dari NTU (slide 11 khusus). Perhatikan bahwa dalam slide digunakan sebagai parameter kernel.$\gamma=\frac{1}{2\sigma^2}$

Persamaan dalam OP hanya berlaku untuk kernel linier.

Untuk setiap kernel psd valid , terdapat peta fitur sehingga . Ruang dan embedding sebenarnya tidak harus unik, tetapi ada pasangan unik yang penting dikenal sebagai kernel mereproduksi ruang Hilbert (RKHS).$k : \mathcal X \times \mathcal X \to \mathbb R$$\varphi : \mathcal X \to \mathcal H$$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$$\mathcal H$$\varphi$$(\mathcal H, \varphi)$

RKHS didiskusikan oleh: Steinwart, Hush and Scovel, Deskripsi yang Eksplisit tentang Ruang Hilbert Kernel yang Direproduksi dari Gaussian RBF Kernels , Transaksi IEEE pada Teori Informasi 2006 ( doi , free citeseer pdf ).

Agak rumit, tetapi intinya adalah: define sebagai $e_n : \mathbb C \to \mathbb C$

$$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$$

Misalkan menjadi urutan yang berkisar pada semua -tupel bilangan bulat negatif; jika , mungkin , , , dan seterusnya. Nyatakan komponen th tuple ke- oleh .$n : \mathbb{N}_0 \to \mathbb{N}_0^d$$d$$d = 3$$n(0) = (0, 0, 0)$$n(1) = (0, 0, 1)$$n(2) = (0, 1, 1)$$j$$i$$n_{ij}$

Kemudian th komponen adalah . Jadi memetakan vektor dalam ke vektor kompleks dimensi tak terbatas.$i$$\varphi(x)$$\prod_{j=1}^d e_{n_{ij}}(x_j)$$\varphi$$\mathbb R^d$

Yang menarik dari hal ini adalah bahwa kita harus mendefinisikan norma untuk vektor kompleks dimensi tak terbatas ini dengan cara yang khusus; lihat kertas untuk detailnya.

---

Steinwart et al. juga memberikan yang lebih mudah (untuk pemikiran saya) menanamkan ke , ruang Hilbert fungsi persegi-integrable dari : Perhatikan bahwa itu sendiri merupakan fungsi dari untuk . Ini pada dasarnya adalah kepadatan Gaussian dimensional dengan rerata dan kovarians ; hanya konstanta normalisasi yang berbeda. Demikian saat kita ambil $L_2(\mathbb R^d)$$\mathbb R^d \to \mathbb R$

$$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$$ $\Phi_\sigma(x)$$\mathbb R^d$$\mathbb R$$d$$x$$\frac{1}{4 \sigma^2} I$ $$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$$ kami mengambil produk dari fungsi kepadatan Gaussian , yang dengan sendirinya merupakan waktu konstan tertentu fungsi kepadatan Gaussian. Ketika Anda melakukan itu integral dengan , maka, konstanta yang jatuh akhirnya menjadi persis .$t$$k(x, y)$

---

Ini bukan satu-satunya embeddings yang berfungsi.

Lain didasarkan pada transformasi Fourier, yang makalah terkenal Rahimi dan Recht ( Fitur Acak untuk Mesin Kernel Skala Besar , NIPS 2007) mendekati efek yang besar.

Anda juga dapat melakukannya menggunakan seri Taylor: secara efektif versi tak terbatas dari Cotter, Keshet, dan Srebro, Perkiraan Eksplisit dari Kernel Gaussian , arXiv: 1109.4603 .

Tampaknya bagi saya bahwa persamaan kedua Anda hanya akan benar jika adalah pemetaan linear (dan karenanya adalah kernel linier). Karena kernel Gaussian adalah non-linear, persamaan tidak akan berlaku (kecuali mungkin dalam batas sebagai menjadi nol).$\phi$$K$$\sigma$