Apa yang terjadi ketika kita melatih SVM linier pada data yang dapat dipisahkan secara non-linear?


11

Apa yang terjadi ketika kita melatih mesin vektor dukungan dasar (kernel linear dan tidak ada margin lunak) pada data yang dapat dipisahkan secara non-linear? Masalah optimisasi tidak layak, jadi apa yang dihasilkan oleh algoritma minimisasi?

Jawaban:


11

Saya pikir dukungan dasar mesin vektor berarti SVM hard-margin. Jadi, mari kita tinjau:

Apa itu Hard-Margin SVM

Singkatnya, kami ingin menemukan hyperplane dengan margin terbesar yang dapat memisahkan semua pengamatan dengan benar di ruang sampel pelatihan kami.

Masalah optimisasi dalam SVM hard-margin

Dengan definisi di atas, apa masalah optimasi yang perlu kita selesaikan?

  1. Hyperplane margin terbesar: Kami ingin max(margin)
  2. Mampu memisahkan semua pengamatan dengan benar: Kita perlu mengoptimalkan margindan juga memenuhi batasan: Tidak ada kesalahan dalam sampel

Apa yang terjadi ketika kita melatih SVM linier pada data yang dapat dipisahkan secara non-linear?

Kembali ke pertanyaan Anda, karena Anda menyebutkan kumpulan data pelatihan tidak dapat dipisahkan secara linear, dengan menggunakan SVM hard-margin tanpa transformasi fitur, tidak mungkin menemukan hyperplane yang memenuhi "Tidak ada kesalahan dalam sampel" .

Biasanya, kami menyelesaikan masalah optimasi SVM dengan Quadratic Programming, karena dapat melakukan tugas-tugas optimasi dengan kendala. Jika Anda menggunakan Gradient Descent atau algoritme pengoptimalan lain yang tanpa memenuhi batasan SVM hard-margin, Anda tetap harus mendapatkan hasilnya, tetapi itu bukan hyperplane SVM hard-margin.

Omong-omong, dengan data yang dapat dipisahkan secara non-linear, biasanya kita memilih

  • transformasi fitur hard-margin SVM +
  • gunakan soft-margin SVM secara langsung (Secara praktis, SVM soft-margin biasanya mendapatkan hasil yang baik)

Terima kasih atas jawaban anda. Jadi paket SVM dalam misal R atau Python tidak menggunakan metode pemrograman kuadrat ketika data dipisahkan secara non-linear?
SVM

Tidak yakin tentang perpustakaan svm apa yang Anda gunakan. Saya menggunakan libsvm dan alat svm yang berbeda dapat menggunakan pemecah svm yang berbeda. Untuk menemukan pemecah svm yang lebih baik adalah topik penelitian lain. QP adalah cara dasar untuk menyelesaikan svm.
Fansia
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.