Gaussian RBF vs Gaussian kernel

Apa perbedaan antara melakukan regresi linier dengan Gaussian Radial Basis Function (RBF) dan melakukan regresi linier dengan kernel Gaussian?

regression normal-distribution kernel-trick

— pengguna35965
sumber

Selamat datang di situs ini, @ user35965. Tolong tuliskan akronim Anda. Dengan "RBF", maksud Anda fungsi basis radial ?

— gung - Reinstate Monica

Ya, itulah apa yang saya maksudkan. Dicatat untuk referensi di masa mendatang.

— user35965

Satu-satunya perbedaan nyata adalah dalam regularisasi yang diterapkan. Jaringan RBF yang teregulasi biasanya menggunakan penalti berdasarkan norma bobot kuadrat. Untuk versi kernel, hukuman biasanya pada norma kuadrat dari bobot model linear yang dibangun secara implisit dalam ruang fitur yang diinduksi oleh kernel. Perbedaan praktis utama yang dibuat adalah bahwa penalti untuk jaringan RBF tergantung pada pusat-pusat jaringan RBF (dan karenanya pada sampel data yang digunakan) sedangkan untuk kernel RBF, ruang fitur yang diinduksi adalah sama terlepas dari sampel data, sehingga penalti adalah penalti pada fungsi model, bukan pada parameterisasinya .

Dengan kata lain, untuk kedua model yang kami miliki

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

Untuk pendekatan jaringan RBF, kriteria pelatihannya adalah

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

Untuk metode kernel RBF, kita memiliki $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ , dan $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ . Ini berarti bahwa hukuman norma kuadrat pada bobot model dalam ruang fitur yang diinduksi, $\vec{w}$ dapat ditulis dalam hal parameter ganda, $\vec{\alpha}$ sebagai

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

di mana adalah bagian dari evaluasi pasangan-bijaksana dari kernel untuk semua pola pelatihan. Kriteria pelatihan kemudian $\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ .

Satu-satunya perbedaan antara kedua model adalah dalam istilah regularisasi. $\matrix{K}$

Keuntungan teoretis utama dari pendekatan kernel adalah memungkinkan Anda untuk menafsirkan model non-linear sebagai model linier mengikuti transformasi non-linear tetap yang tidak bergantung pada sampel data. Dengan demikian, setiap teori pembelajaran statistik yang ada untuk model linear secara otomatis ditransfer ke versi non-linear. Namun, ini semua rusak segera setelah Anda mencoba dan menyetel parameter kernel, pada titik mana kita kembali ke titik yang hampir sama secara teoritis ketika kita menggunakan jaringan saraf RBF (dan MLP). Jadi keuntungan teoretis mungkin tidak sebesar yang kita inginkan.

Apakah mungkin ada perbedaan nyata dalam hal kinerja? Mungkin tidak banyak. Teorema "tanpa makan siang gratis" menunjukkan bahwa tidak ada keunggulan a-priori dari algoritma apa pun di atas semua algoritma lainnya, dan perbedaan dalam regularisasi cukup halus, jadi jika ragu cobalah keduanya dan pilih yang terbaik sesuai misalnya validasi silang.

— Dikran Marsupial
sumber

@ AgdasOzgenc Ya, untuk RBF regulator adalah daripada untuk mesin kernel. Mereka akan menjadi lebih mirip sebagai lebar dari fungsi dasar mendekati nol sebagai akan mendekati . Saya pikir ini pada dasarnya karena menghitung korelasi antara fungsi dasar.

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— Dikran Marsupial

@CagdasOzgenc Cara saya melihatnya adalah bahwa di regulariser menimbang hukuman secara berbeda untuk setiap vektor basis, dan hukuman tergantung pada pemilihan vektor basis lainnya. Bobot ini tergantung pada korelasinya, jadi jika Anda memilih sampel yang berbeda, bobot berubah untuk mengimbanginya. Cara lain untuk melihatnya adalah bahwa model didefinisikan dalam ruang fitur yang ditentukan oleh , yang tidak tergantung pada pilihan vektor basis (asalkan mereka membentang ruang yang berisi data).

K

$K$

ϕ (x)

$\phi(x)$

— Dikran Marsupial

@CagdasOzgenc Tentu saja kita dapat mengubah ruang fungsi basis dengan dekomposisi eigen dan mendapatkan kembali pengatur gaya (memang itu adalah trik yang berguna dalam mengoptimalkan parameter regularisasi - doi.org/10.1016/j.neunet.2007.05.005 ). Namun transformasi itu menghilangkan ketergantungan pilihan awal fungsi dasar. Agar dua hal menjadi sama akan memerlukan , yang secara umum tidak benar (terutama tidak untuk kernel RBF).

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Dikran Marsupial

Terima kasih. Saya akan merenungkan ini akan kembali kepada Anda. Saat ini sepertinya saya tidak setingkat pemahaman Anda. Saya perlu melakukan lebih banyak pemikiran :).

— Cagdas Ozgenc

@CagdasOzgenc tidak ada masalah, sebagian besar teks standar menjelaskannya melalui fungsi eigen dari fungsi kernel, yang membuat otak saya sakit juga! ; o)

— Dikran Marsupial