Menerapkan "trik kernel" ke metode linear?

The Trik kernel yang digunakan dalam beberapa model pembelajaran mesin (misalnya SVM ). Ini pertama kali diperkenalkan dalam makalah "Fondasi teoretis dari metode fungsi potensial dalam pembelajaran pengenalan pola" pada tahun 1964.

Definisi wikipedia mengatakan itu

metode untuk menggunakan algoritma classifier linier untuk memecahkan masalah non-linear dengan memetakan pengamatan non-linear asli ke dalam ruang dimensi yang lebih tinggi, di mana classifier linier selanjutnya digunakan; ini membuat klasifikasi linier di ruang baru setara dengan klasifikasi non-linear di ruang asli.

Salah satu contoh model linier yang telah diperluas ke masalah non-linear adalah PCA kernel . Dapatkah trik kernel diterapkan pada model linier apa pun, atau apakah ada batasan tertentu?

machine-learning kernel-trick

— Shane
sumber

BTW, kernel tidak terlalu penting untuk SVM. "Jantung" SVM adalah prinsip maksimalisasi margin lunak. Pergi ke representasi kernel membuat dimensi masalah Anda O (m ^ 2) alih-alih O (d) di mana m adalah jumlah contoh dan d adalah dimensi ruang fitur Anda, jadi jika m ^ 2 lebih dari d, Anda mungkin lebih baik menyingkirkan kernel jmlr.csail.mit.edu/papers/v6/keerthi05a.html

— Yaroslav Bulatov

@Yaroslav: Terima kasih untuk referensi. Apakah Anda mengetahui adanya implementasi "Modifikasi Metode Newton Hingga"?

— Shane

tidak, tetapi halaman Keerthi dan Langford memiliki tautan ke beberapa perangkat lunak yang mungkin terkait, karena keduanya bekerja di Yahoo Research

— Yaroslav Bulatov

Jawaban:

Trik kernel hanya dapat diterapkan pada model linier di mana contoh dalam perumusan masalah muncul sebagai produk titik (Dukungan Mesin Vektor, PCA, dll).

— ebony1
sumber

Terima kasih atas jawabannya. @mbq @ ebony1: IMO kita perlu lebih berupaya untuk memposting pertanyaan pembelajaran mesin yang lebih serius di situs, untuk menarik lebih banyak komunitas itu.

— Shane

@Shane Saya sepenuhnya setuju, tetapi bagaimana dengan situs SO lainnya seperti metaoptimize.com/qa ?

— chl

@ chl: Itu juga pilihan, tapi itu bukan bagian dari StackExchange (dikendalikan oleh satu orang, dan pada perangkat lunak yang berbeda) dan saya pribadi lebih suka komunitas analisis data yang berbeda ini berbaur di satu tempat.

— Shane

@Hane Yah, ok itu masuk akal.

— chl

ada juga Machine Learning stack exchange proposal area51.stackexchange.com/proposals/7607/machine-learning

— Yaroslav Bulatov

Dua referensi lebih lanjut dari B. Schölkopf :

Schölkopf, B. dan Smola, AJ (2002). Belajar dengan kernel . MIT Press.
Schölkopf, B., Tsuda, K., dan Vert, J.-P. (2004). Metode kernel dalam biologi komputasi . MIT Press.

dan situs web yang didedikasikan untuk mesin kernel .

— chl
sumber

@ ebony1 memberikan poin kunci (+1), saya adalah penulis pendamping dari makalah yang membahas bagaimana mem-kernel-kan model linear umum, misalnya regresi logistik dan regresi Poisson, cukup mudah.

GC Cawley, GJ Janacek dan NLC Talbot, mesin kernel Generalized, dalam Prosiding Konferensi Gabungan Internasional IEEE / INNS tentang Jaringan Saraf (IJCNN-2007), halaman 1732-1737, Orlando, Florida, AS, 12-17 Agustus 2007. ( www , pdf )

Saya juga menulis toolbox (kualitas penelitian) MATLAB (sayangnya tidak ada instruksi), yang dapat Anda temukan di sini .

Mampu memodelkan target distribusi cukup berguna dalam quanification ketidakpastian dll. Sehingga merupakan tambahan yang berguna (jika cukup tambahan) untuk metode pembelajaran kernel.

— Dikran Marsupial
sumber