Bagaimana memahami efek RBF SVM

Bagaimana saya bisa mengerti apa yang dilakukan oleh RBF Kernel di SVM? Maksud saya, saya mengerti matematika, tetapi apakah ada cara untuk merasakan kapan kernel ini berguna?

Apakah hasil dari kNN terkait dengan SVM / RBF karena RBF berisi jarak vektor?

Apakah ada cara untuk merasakan kernel polinomial? Saya tahu semakin tinggi dimensinya, semakin tinggi ukurannya. Tetapi saya ingin mendapatkan intuisi tentang apa yang dilakukan kernel daripada mencoba semua kernel yang mungkin dan memilih yang paling sukses.

svm kernel-trick

— Gerenuk
sumber

Anda dapat mulai dengan melihat salah satu jawaban saya di sini:
Klasifikasi SVM non-linear dengan kernel RBF

Dalam jawaban itu, saya mencoba menjelaskan apa yang coba dilakukan fungsi kernel. Setelah Anda memahami apa yang ia coba lakukan, sebagai tindak lanjut, Anda dapat membaca jawaban saya untuk sebuah pertanyaan di Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radial-basis-function-kernel-map-into-infinite-dimensional-space / answer / Arun-Iyer-1

Mereproduksi konten jawaban di Quora, jika Anda tidak memiliki akun Quora.

Pertanyaan: Mengapa kernel RBF (fungsi basis radial) memetakan ke dalam ruang dimensi tak terbatas? Jawaban: Pertimbangkan kernel polinomial derajat 2 yang didefinisikan oleh,
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ mana $x, y \in \mathbb{R}^2$ dan $x = (x_1, x_2), y = (y_1, y_2)$ .
Dengan demikian, fungsi kernel dapat ditulis sebagai, Sekarang, mari kita coba membuat peta fitur sehingga fungsi kernel dapat ditulis sebagai
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Pertimbangkan peta fitur berikut, Pada dasarnya, peta fitur ini memetakan titik dike titik di . Perhatikan juga, yang pada dasarnya adalah fungsi kernel kami.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Ini berarti bahwa fungsi kernel kami sebenarnya menghitung produk titik / dalam poin dalam . Artinya, secara implisit memetakan poin kami dari ke . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Soal Latihan : Jika titik Anda ada di , kernel polinomial derajat 2 akan memetakannya secara implisit memetakannya ke beberapa ruang vektor F. Berapa dimensi ruang vektor ini F? Petunjuk: Semua yang saya lakukan di atas adalah petunjuk. $\mathbb{R}^n$

Sekarang, datang ke RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Pertanyaan Latihan : Dapatkan beberapa elemen vektor pertama dari peta fitur untuk RBF untuk kasus di atas?

Sekarang, dari jawaban di atas, kita dapat menyimpulkan sesuatu:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
sumber