Keuntungan dan kerugian SVM

Adakah yang bisa menjelaskan kelebihan dan kekurangan klasifikasi SVM yang membedakannya dari pengklasifikasi lain?

machine-learning svm

— Lakesh
sumber

Dalam konteks apa? Untuk tujuan apa? Dengan SVM seperti apa? Untuk jenis data apa?

Ada empat keuntungan utama: Pertama memiliki parameter regularisasi, yang membuat pengguna berpikir untuk menghindari pemasangan yang berlebihan. Kedua menggunakan trik kernel, sehingga Anda dapat membangun pengetahuan ahli tentang masalah melalui rekayasa kernel. Ketiga SVM didefinisikan oleh masalah optimisasi cembung (tidak ada minimum lokal) yang ada metode yang efisien (misalnya SMO). Terakhir, ini adalah perkiraan untuk terikat pada tingkat kesalahan pengujian, dan ada banyak teori di baliknya yang menyarankan itu harus menjadi ide yang baik.

Kerugiannya adalah bahwa teori hanya benar-benar mencakup penentuan parameter untuk nilai yang diberikan parameter regularisasi dan kernel dan pilihan kernel. Di satu sisi SVM memindahkan masalah over-fitting dari mengoptimalkan parameter ke pemilihan model. Sayangnya, model-model kernel bisa sangat sensitif untuk menyesuaikan kriteria pemilihan model, lihat

GC Cawley dan NLC Talbot, Over-fitting dalam pemilihan model dan bias seleksi selanjutnya dalam evaluasi kinerja, Journal of Machine Learning Research, 2010. Research, vol. 11, hlm. 2079-2107, Juli 2010. ( pdf )

Namun perhatikan bahwa masalah ini tidak unik untuk metode kernel, sebagian besar metode pembelajaran mesin memiliki masalah yang sama. Hilangnya engsel yang digunakan dalam SVM menghasilkan sparsity. Namun, seringkali pilihan optimal parameter kernel dan regularisasi berarti Anda berakhir dengan semua data menjadi vektor pendukung. Jika Anda benar-benar menginginkan mesin kernel yang jarang, gunakan sesuatu yang dirancang jarang sejak awal (alih-alih menjadi produk sampingan yang bermanfaat), seperti Mesin Vektor Informatif. Fungsi kerugian yang digunakan untuk mendukung vektor regresi tidak memiliki intepretasi statistik yang jelas, seringkali pengetahuan ahli tentang masalah dapat dikodekan dalam fungsi kerugian, misalnya Poisson atau Beta atau Gaussian. Demikian juga dalam banyak masalah klasifikasi Anda benar-benar menginginkan kemungkinan keanggotaan kelas,

Hanya itu yang bisa saya pikirkan begitu saja.

— Dikran Marsupial
sumber

Bagaimana dengan tantangan untuk kesulitan klasifikasi multikelas dengan SVM?

— Vass

@Vaas poin bagus, di masa lalu saya telah menggunakan algoritma DAGSVM dan menemukan itu cukup efektif. Masalah multi-kelas tampaknya tidak memiliki solusi elegan dalam kerangka SVM, regresi logistik multi-kelas kernel mungkin akan menjadi pendekatan yang paling mirip yang tetap "elegan".

— Dikran Marsupial