Saya membaca tentang SVMdan saya menghadapi titik bahwa non-kernelized SVMstidak lebih dari pemisah linier. Oleh karena itu, apakah satu-satunya perbedaan antara SVMregresi logistik dan satu kriteria untuk memilih batas?
Tampaknya, SVMmemilih batas maksimum margin dan regresi logistik adalah salah satu yang meminimalkan cross-entropykerugian. Adakah situasi di mana SVM kinerjanya lebih baik daripada regresi logistik atau sebaliknya?
Jawaban:
Jika Anda menggunakan regresi logistik dan cross-entropyfungsi biaya, bentuknya cembung dan akan ada minimum. Tetapi selama optimasi, Anda mungkin menemukan bobot yang mendekati titik optimal dan tidak tepat pada titik optimal. Ini berarti bahwa Anda dapat memiliki beberapa klasifikasi yang mengurangi kesalahan dan mungkin mengaturnya menjadi nol untuk data pelatihan tetapi dengan bobot berbeda yang sedikit berbeda. Ini dapat menyebabkan batas keputusan yang berbeda. Pendekatan ini didasarkan pada berdasarkan metode statistik . Seperti yang diilustrasikan dalam bentuk berikut, Anda dapat memiliki batas keputusan yang berbeda dengan sedikit perubahan pada bobot dan semuanya tidak memiliki kesalahan pada contoh pelatihan.
Apa yang SVMdilakukan adalah upaya untuk menemukan batas keputusan yang mengurangi risiko kesalahan pada data uji. Mencoba untuk menemukan batas keputusan yang memiliki jarak yang sama dari titik batas kedua kelas. Akibatnya, kedua kelas akan memiliki ruang yang sama untuk ruang kosong yang tidak ada data di sana. SVMadalah geometris termotivasi daripada statistik .
Tidak ada SVM kernel tidak lebih dari separator linier. Oleh karena itu, apakah satu-satunya perbedaan antara SVM dan regresi logistik kriteria untuk memilih batas?
Mereka adalah pemisah linier dan jika Anda menemukan bahwa batas keputusan Anda bisa menjadi hyperplane, lebih baik menggunakan dan SVMuntuk mengurangi risiko kesalahan pada data uji.
Rupanya SVM memilih classifier margin maksimum dan regresi logistik yang meminimalkan kerugian lintas-entropi.
Ya, sebagaimana dinyatakan SVMdidasarkan pada sifat geometris data sementara logistic regressiondidasarkan pada pendekatan statistik.
Dalam hal ini, apakah ada situasi di mana SVM akan melakukan lebih baik daripada regresi logistik, atau sebaliknya?
Seolah-olah, hasilnya tidak jauh berbeda, tetapi mereka berbeda. SVMs lebih baik untuk generalisasi 1 , 2 .
Regresi logistik tidak mencoba untuk menemukan batas kelas per se seperti halnya SVM linear. LR mencoba untuk memodelkan skor y yang diubah-logit menggunakan prediktor. Untuk menggunakan analogi konyol, LR mencoba untuk menempatkan fungsi 'melalui titik-titik' sementara SVM mencoba untuk menempatkan vektor dukungan 'di antara titik-titik'