SVM linier dan regresi logistik umumnya bekerja sebanding dalam praktiknya. Gunakan SVM dengan kernel nonlinier jika Anda memiliki alasan untuk percaya bahwa data Anda tidak akan dapat dipisahkan secara linear (atau Anda harus lebih kuat untuk pencilan daripada yang biasanya ditoleransi oleh LR). Jika tidak, coba saja regresi logistik terlebih dahulu dan lihat bagaimana Anda melakukannya dengan model yang lebih sederhana itu. Jika regresi logistik gagal Anda, coba SVM dengan kernel non-linear seperti RBF.
EDIT:
Ok, mari kita bicara tentang dari mana fungsi tujuan berasal.
Regresi logistik berasal dari regresi linier umum. Diskusi yang baik tentang fungsi tujuan regresi logistik dalam konteks ini dapat ditemukan di sini: https://stats.stackexchange.com/a/29326/8451
Algoritma Support Vector Machines jauh lebih termotivasi secara geometris . Alih-alih mengasumsikan model probabilistik, kami mencoba untuk menemukan hyperplane pemisah optimal tertentu, di mana kami mendefinisikan "optimalitas" dalam konteks vektor dukungan. Kami tidak memiliki apa pun yang menyerupai model statistik yang kami gunakan dalam regresi logistik di sini, meskipun kasus linier akan memberikan hasil yang sama: sungguh ini hanya berarti bahwa regresi logistik melakukan pekerjaan yang cukup baik untuk menghasilkan pengklasifikasi "margin lebar", karena itulah semua SVM coba lakukan (khususnya, SVM mencoba untuk "memaksimalkan" margin antara kelas-kelas).
Saya akan mencoba untuk kembali ke ini nanti dan mendapatkan sedikit lebih dalam ke gulma, saya hanya semacam di tengah sesuatu: p