Apa hubungan antara SVM dan kehilangan engsel?

Kolega saya dan saya mencoba untuk membungkus kepala kami di sekitar perbedaan antara regresi logistik dan SVM. Jelas mereka mengoptimalkan fungsi tujuan yang berbeda. Apakah SVM sesederhana mengatakan itu adalah klasifikasi diskriminatif yang hanya mengoptimalkan kehilangan engsel? Atau lebih kompleks dari itu? Bagaimana vektor pendukung berperan? Bagaimana dengan variabel slack? Mengapa Anda tidak dapat memiliki SVM yang dalam sebagaimana Anda tidak dapat memiliki jaringan saraf yang dalam dengan fungsi aktivasi sigmoid?

Keduanya adalah model diskriminatif, ya. Fungsi kerugian regresi logistik secara konseptual adalah fungsi dari semua poin. Poin yang diklasifikasikan dengan benar menambah sangat sedikit ke fungsi kerugian, menambahkan lebih banyak jika mereka dekat dengan batas. Oleh karena itu, titik-titik di dekat batas lebih penting untuk kerugian dan memutuskan seberapa baik batas itu.

SVM menggunakan kerugian engsel, yang secara konseptual menekankan titik batas. Apa pun yang lebih jauh dari titik terdekat tidak memberikan kontribusi apa pun untuk kerugian karena "engsel" (maks) dalam fungsi. Poin-poin terdekat adalah vektor dukungan, sederhana. Karena itu sebenarnya mengurangi untuk memilih batas yang menciptakan margin - jarak terbesar ke titik terdekat. Teorinya adalah bahwa kasus batas adalah yang paling penting bagi generalisasi.

Kelemahannya adalah kerugian engsel tidak dapat dibedakan, tetapi itu hanya berarti dibutuhkan lebih banyak matematika untuk menemukan cara mengoptimalkannya melalui pengganda Lagrange. Itu tidak benar-benar menangani kasus di mana data tidak dapat dipisahkan secara linear. Variabel slack adalah trik yang memungkinkan kemungkinan ini dimasukkan dengan bersih ke dalam masalah optimisasi.

Anda dapat menggunakan kerugian engsel dengan "pembelajaran mendalam", misalnya http://arxiv.org/pdf/1306.0239.pdf