Mengapa nama "kernel" dalam statistik dan ML?


21

Ini telah ditanyakan pada situs SE lainnya dalam konteks sistem operasi dan aljabar linier, tetapi pertanyaan yang sama mengganggu saya mengenai metode kernel yang digunakan dalam statistik dan pembelajaran mesin.

Seringkali dikatakan bahwa kernel, misalnya dalam estimasi kepadatan kernel atau SVM, mewakili beberapa kesamaan, tetapi saya tidak mendapatkan dari mana nama 'kernel' berasal dan apa simbolisme dari itu.

Jadi, apa etimologi kernel, dalam konteks statistik dan pembelajaran mesin?

Untuk lebih jelasnya, saya sangat menyadari apa itu kernel dan sifat-sifat utamanya, saya hanya ingin tahu tentang namanya, karena saya tidak melihat apa hubungannya dengan seed atau core karena kebanyakan didefinisikan dalam kamus. Atau setidaknya saya tidak bisa melihat makna yang lebih dalam daripada 'bagian penting dari metode ini'.

Jawaban:


13

Anda dapat menemukan beberapa informasi tentang masalah ini dengan memeriksa situs web untuk penggunaan paling awal yang diketahui untuk beberapa kata matematika yang dikelola oleh ahli matematika Jeff Miller. Anda juga dapat menemukan informasi tentang etimologi kata "kernel" dalam sumber kamus standar.

Menulis dalam bahasa Prancis, Fredholm (1903) menggunakan kata "noyau" (inti) dan Hilbert (1904) mengadopsi istilah ini tetapi menulis dalam bahasa Jerman, menghasilkan kata Jerman "kern" (inti). Istilah-istilah ini digunakan dalam konteks penulisan tentang persamaan integral dalam analisis fungsional. Tak lama setelah ini, Bôcher (1909), menulis dalam bahasa Inggris, menggunakan istilah "kernel" untuk merujuk ke objek yang sama. Istilah tersebut kemudian menyebar melalui literatur berbahasa Inggris tentang analisis fungsional, analisis Fourier, dan kemudian, probabilitas dan statistik.

Menurut kamus yang ditautkan di atas, kata ini berasal dari Bahasa Inggris Kuno dan Bahasa Proto-Jerman. Itu bisa merujuk pada sebuah benih, atau ke inti, pusat atau esensi dari suatu objek. Kesamaan linguistik antara "kern" Jerman dan "kernel" tampaknya disebabkan oleh derivasi historis yang serupa. Kata "kernel" diduga berasal dari kata Proto-Jermanik yang dihipotesiskan (direkonstruksi) "kurną" (jagung). Jadi, berdasarkan sejarah ini, tampaknya secara etimologis, kata "kernel" mengacu pada biji, inti atau esensi, dan didasarkan pada Anglicisation dari kata Jerman kuno untuk jagung.

UPDATE: Jawaban ini telah banyak diedit untuk mencerminkan informasi baru yang menarik perhatian saya oleh pengguna cbeleites dan RM . Awalnya saya pikir ini mungkin Anglikan baru-baru ini dari kata "kern", tetapi sumber kamus menunjukkan bahwa kata "kernel" dalam bahasa Inggris sudah sangat tua. Saya bukan ahli bahasa, jadi saya hanya menjabarkan informasi dari sumber-sumber di atas.


Belum pernah mendengar tentang Maxime Bôcher. Pertama, saya pikir mungkin itu salah ketik untuk Salomon Bochner, yang beberapa tahun kemudian sangat besar (raksasa) di kernel integral, antara lain.
Mark L. Stone

Itu salah saya - saya tidak yakin bagaimana mengetikkan aksen o. Bagaimana kamu melakukannya?
Pasang kembali Monica

1
Saya menyalin dan menempel dari daftar Wikipedia.
Mark L. Stone

1
Maksud saya yang sebenarnya adalah saya tahu Bochner adalah raksasa dalam kernel, tetapi tidak pernah mendengar tentang Bocher. Bochner adalah penasihat tesis dari Samuel Karlin, dari siapa saya mengambil kursus dalam Total Positivity (kernel yang benar-benar positif mendorong variasi transformasi yang semakin berkurang, dan semua itu jazz).
Mark L. Stone

1
Saya tidak yakin apakah kernel adalah versi Anglicised dari Kern, setidaknya tidak dalam arti sesuatu yang terjadi hanya sedikit lebih dari 100 tahun yang lalu. Saya selalu menganggapnya sebagai terjemahan: merriam-webster.com/dictionary/kernel definition 1 disebut "Kern" dalam bahasa Jerman. Misalnya untuk apel, biji = Kerne, sedangkan inti = Kerngehäuse (secara harfiah kernel housing).
cbeleites mendukung Monica

13

Kernel digunakan beberapa kali dalam Pembelajaran Mesin dan statistik. Beberapa contoh adalah:

  1. Di Support Vector Machines sebuah kernel adalah fungsi yang memetakan data ke ruang dimensi tinggi di mana masalahnya menjadi linear dipecahkan (menonton ini ).

  2. Estimasi Kepadatan Kernel

    Estimasi Densitas Kernel adalah cara non-parametrik untuk memperkirakan fungsi kepadatan probabilitas dari variabel acak.

Dalam konteks ini, kernel hanyalah fungsi pembobotan yang digunakan dalam estimasi kepadatan kernel. Tautan terakhir juga memiliki beberapa penggunaan kata kernel dalam statistik.

  1. Dalam Convolutional Neural Networks , kernel adalah matriks kecil yang digunakan untuk melakukan konvolusi antara gambar dan dirinya sendiri. Lihat di sini .

Dalam semua contoh ini kernel adalah fungsi matematika yang digunakan untuk semacam transformasi pada data Anda. Kernel pada dasarnya adalah bagian konstan dari transformasi itu. Bergantung pada pilihan kernel yang kami gunakan untuk setiap transformasi, kami mungkin mendapatkan efek berbeda darinya.


5
βe-βxe-βx

7
OP mencari etimologi kernel.
Franck Dernoncourt

2
Apakah penggunaan "kernal" untuk merujuk ke nullspace dalam aljabar linier memiliki hubungan dengan semua penggunaan ini dalam pembelajaran mesin?
syntonicC
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.