Mendukung mesin vektor dan regresi

Sudah ada diskusi yang sangat baik tentang bagaimana mesin vektor menangani klasifikasi, tapi saya sangat bingung tentang bagaimana mesin vektor mendukung generalisasi untuk regresi.

Adakah yang mau memberi tahu saya?

Pada dasarnya mereka menggeneralisasi dengan cara yang sama. Pendekatan berbasis kernel untuk regresi adalah untuk mengubah fitur, sebut saja ke beberapa ruang vektor, kemudian lakukan regresi linier dalam ruang vektor tersebut. Untuk menghindari 'kutukan dimensi', regresi linier dalam ruang yang ditransformasikan agak berbeda dari kuadrat terkecil biasa. Hasilnya adalah bahwa regresi dalam ruang yang ditransformasikan dapat dinyatakan sebagai , di mana adalah pengamatan dari set pelatihan, adalah transformasi yang diterapkan pada data, dan titik adalah produk titik. Dengan demikian regresi linier 'didukung' oleh beberapa vektor pelatihan (lebih disukai sejumlah kecil). $\mathbf{x}$$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$$\mathbf{x_i}$$\phi(\cdot)$

Semua detail matematis disembunyikan dalam regresi aneh yang dilakukan dalam ruang yang ditransformasikan ('tabung epsilon-sensitif' atau apa pun) dan pilihan transformasi, . Untuk seorang praktisi, ada juga pertanyaan tentang beberapa parameter gratis (biasanya dalam definisi dan regresi), serta fitur , yang mana pengetahuan domain biasanya membantu.$\phi$$\phi$

Untuk gambaran umum SVM: Bagaimana cara kerja Mesin Vector Support (SVM) bekerja?

Mengenai dukungan vektor regresi (SVR), saya menemukan slide ini dari http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) sangat jelas:

Dokumentasi Matlab juga memiliki penjelasan yang layak dan juga membahas algoritma penyelesaian optimasi: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regress.html ( mirror ).

Sejauh ini jawaban ini telah menyajikan apa yang disebut regresi SVM epsilon-sensitif (ε-SVM). Terdapat varian SVM yang lebih baru untuk klasifikasi regresi: Least square support vector machine .

Selain itu, SVR dapat diperluas untuk multi-output alias multi-target, misalnya lihat {1}.

Referensi:

• {1} Borchani, Hanen, Gherardo Varando, Concha Bielza, dan Pedro Larrañaga. "Sebuah survei tentang regresi multi-output." Ulasan Wiley Interdisipliner: Penambangan Data dan Penemuan Pengetahuan 5, no. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=id&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf