Semua contoh SVM terkait dengan klasifikasi. Saya tidak mengerti bagaimana SVM untuk regresi (support vector regressor) dapat digunakan dalam regresi.
Dari pemahaman saya, A SVM memaksimalkan margin antara dua kelas untuk menemukan hyperplane optimal. Bagaimana ini bisa berhasil dalam masalah regresi?
Jawaban:
Singkatnya: Memaksimalkan margin secara umum dapat dilihat sebagai mengatur solusi dengan meminimalkan (yang pada dasarnya meminimalkan kompleksitas model) ini dilakukan baik dalam klasifikasi dan regresi. Tetapi dalam kasus klasifikasi minimisasi ini dilakukan dengan syarat bahwa semua contoh diklasifikasikan dengan benar dan dalam kasus regresi dengan syarat bahwa nilai dari semua contoh menyimpang kurang dari akurasi yang diperlukan dari untuk regresi .y ϵ f ( x )
Untuk memahami bagaimana Anda beralih dari klasifikasi ke regresi, ada baiknya untuk melihat bagaimana kedua kasus tersebut menerapkan teori SVM yang sama untuk merumuskan masalah sebagai masalah optimisasi cembung. Saya akan mencoba menempatkan keduanya berdampingan.
(Saya akan mengabaikan variabel slack yang memungkinkan kesalahan klasifikasi dan penyimpangan di atas akurasi )
Dalam hal ini tujuannya adalah untuk menemukan fungsi mana untuk contoh positif dan untuk contoh negatif. Dalam kondisi ini kami ingin memaksimalkan margin (jarak antara 2 bar merah) yang tidak lebih dari meminimalkan turunan dari .f ( x ) ≥ 1 f ( x ) ≤ - 1 f ′ = w
Intuisi di balik memaksimalkan margin adalah bahwa ini akan memberi kita solusi unik untuk masalah menemukan (yaitu kita membuang misalnya garis biru) dan juga bahwa solusi ini adalah yang paling umum dalam kondisi ini, yaitu bertindak sebagai regularisasi . Ini dapat dilihat sebagai, di sekitar batas keputusan (di mana garis merah dan hitam bersilangan) ketidakpastian klasifikasi adalah yang terbesar dan memilih nilai terendah untuk di wilayah ini akan menghasilkan solusi yang paling umum.f ( x )
Poin data pada 2 bilah merah adalah vektor dukungan dalam kasus ini, mereka sesuai dengan pengganda Lagrange yang tidak nol dari bagian persamaan kondisi ketidaksetaraan danf ( x ) ≤ - 1
Dalam hal ini tujuannya adalah untuk menemukan fungsi (garis merah) dengan ketentuan bahwa berada dalam akurasi yang diperlukan dari nilai nilai (bilah hitam) dari setiap titik data, yaitu mana adalah jarak antara garis merah dan abu-abu. Dalam kondisi ini kami sekali lagi ingin meminimalkan , lagi untuk alasan regularisasi dan untuk mendapatkan solusi unik sebagai hasil dari masalah optimasi cembung. Orang dapat melihat bagaimana meminimalkan hasil dalam kasus yang lebih umum sebagai nilai ekstrim darif ( x ) ϵ y ( x ) | y ( x ) - f ( x ) | ≤ berarti tidak ada hubungan fungsional sama sekali yang merupakan hasil paling umum yang dapat diperoleh dari data.
Poin data pada 2 bilah merah adalah vektor dukungan dalam kasus ini, mereka sesuai dengan pengganda Lagrange yang tidak nol dari bagian persamaan kondisi ketidaksetaraan .
Kedua kasus menghasilkan masalah berikut:
Dengan syarat bahwa:
Dalam SVM untuk masalah klasifikasi, kami benar-benar mencoba memisahkan kelas sejauh mungkin dari garis pemisah (Hyperplane) dan tidak seperti regresi logistik, kami membuat batas keamanan dari kedua sisi hyperplane (berbeda antara regresi logistik dan klasifikasi SVM di kelas mereka). fungsi kerugian). Akhirnya, memiliki titik data yang terpisah sejauh mungkin dari hyperplane.
Dalam SVM untuk masalah regresi, Kami ingin menyesuaikan model untuk memprediksi kuantitas untuk masa depan. Oleh karena itu, kami ingin titik data (pengamatan) sedekat mungkin dengan hyperplane tidak seperti SVM untuk klasifikasi. Regresi SVM diwarisi dari Regresi Sederhana seperti (Ordinary Least Square) oleh perbedaan ini yang kami tentukan rentang epsilon dari kedua sisi hyperplane untuk membuat fungsi regresi tidak sensitif terhadap kesalahan seperti SVM untuk klasifikasi yang kami tentukan batasnya aman untuk dibuat keputusan masa depan (prediksi). Akhirnya,