Fungsi atau kernel kovarian - apa sebenarnya mereka?

Saya agak baru di bidang proses Gaussian dan bagaimana mereka diterapkan dalam pembelajaran mesin. Saya terus membaca dan mendengar tentang fungsi kovarian yang menjadi daya tarik utama dari metode ini. Jadi, adakah yang bisa menjelaskan secara intuitif apa yang terjadi dalam fungsi kovarian ini?

Kalau tidak, jika Anda bisa menunjukkan tutorial atau dokumen spesifik yang menjelaskannya.

$k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$$k(\cdot, \cdot)$

Kernel biasanya hanya bergantung pada jarak Euclidean (atau transformasi linearnya) antara titik, tetapi kesenangan dimulai ketika Anda menyadari bahwa Anda dapat melakukan banyak hal, lebih banyak lagi.

Seperti yang dikatakan David Duvenaud:

Kernel dapat didefinisikan atas semua jenis struktur data: Teks, gambar, matriks, dan bahkan kernel. Memunculkan kernel pada tipe data baru yang digunakan sebagai cara mudah untuk mendapatkan kertas NIPS.

Untuk tinjauan umum yang mudah tentang kernel untuk dokter, saya dengan hangat merekomendasikan Cookbook Kernel dan referensi di dalamnya.

(*) Seperti yang dicatat @Dikran Marsupial, berhati-hatilah bahwa yang sebaliknya tidak benar; tidak semua metrik kesamaan adalah kernel yang valid (lihat jawabannya).

$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$ adalah fungsi yang memetakan vektor input ke dalam ruang fitur.

Jadi mengapa kernel harus diinterpretasikan sebagai produk dalam di beberapa ruang fitur? Alasannya adalah bahwa jauh lebih mudah untuk merancang batas teoritis pada kinerja generalisasi untuk model linier (seperti regresi logistik) daripada model non-linier (seperti jaringan saraf). Sebagian besar model linier dapat ditulis sehingga vektor input hanya muncul dalam bentuk produk dalam. Ini berarti bahwa kita dapat membangun model non-linear dengan membangun model linear di ruang fitur kernel. Ini adalah transformasi data yang tetap, sehingga semua batas kinerja teoretis untuk model linier secara otomatis berlaku untuk model kernel non-linear * baru.

Poin penting yang sulit untuk dipahami pada awalnya adalah bahwa kita cenderung tidak memikirkan ruang fitur yang akan baik untuk aplikasi khusus kita dan kemudian merancang kernel yang memunculkan ruang fitur tersebut. Secara umum kami datang dengan metrik kesamaan yang baik dan kemudian melihat apakah itu adalah kernel (tes langsung, jika ada matriks evaluasi berpasangan fungsi kernel pada titik-titik di posisi umum adalah pasti positif, maka itu adalah kernel yang valid) .

$^*$