Memahami regresi SVM: fungsi objektif dan "kerataan"

SVM untuk klasifikasi masuk akal bagi saya: Saya mengerti bagaimana meminimalkan menghasilkan margin maksimum. Namun, saya tidak mengerti tujuan itu dalam konteks regresi. Berbagai teks (di sini dan di sini ) menggambarkan ini sebagai memaksimalkan "kerataan." Mengapa kita ingin melakukan itu? Apa dalam regresi yang setara dengan konsep "margin"? $||\theta||^2$

Berikut adalah beberapa jawaban yang dicoba, tetapi tidak ada yang benar-benar membantu pemahaman saya.

regression svm

— Yang
sumber

Saya tidak benar-benar memahami teori SVM, tetapi 'kerataan' dalam diskusi mesin kernel yang Anda tautkan tampaknya sama dengan: 'memiliki turunan kedua yang kecil ' (pikirkan motivasi tipikal untuk model penghalusan spline).

— conjugateprior

Salah satu cara saya berpikir tentang kerataan adalah membuat prediksi saya kurang sensitif terhadap gangguan pada fitur. Artinya, jika saya membangun model bentuk mana vektor fitur saya telah dinormalisasi, maka nilai yang lebih kecil di berarti model saya kurang sensitif terhadap kesalahan dalam pengukuran / guncangan acak / non -Stasionaritas fitur, . Diberikan dua model ( yaitu dua kemungkinan nilai ) yang menjelaskan data dengan baik, saya lebih suka yang 'lebih datar'.

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Anda juga dapat menganggap Ridge Regression sebagai peforming hal yang sama tanpa trik kernel atau formulasi regresi 'tabung' SVM.

sunting : Menanggapi komentar @ Yang, beberapa penjelasan lebih lanjut:

Pertimbangkan kasus linier: . Misalkan diambil iid dari beberapa distribusi, terlepas dari . Dengan identitas produk titik, kita memiliki , di mana adalah sudut antara dan , yang mungkin didistribusikan di bawah beberapa distribusi seragam bola. Sekarang perhatikan: 'sebaran' ( mis. Simpangan baku sampel) dari prediksi kami tentang $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ sebanding dengan. Untuk mendapatkan MSE yang baik dengan versi pengamatan kami yang laten dan tanpa suara, kami ingin mengecilkan itu. cfpenaksir James Stein. $y$ $||\theta||$ $||\theta||$
Pertimbangkan kasus linier dengan banyak fitur. Pertimbangkan model , dan . Jika memiliki lebih banyak elemen nol di dalamnya daripada , tetapi tentang kekuatan penjelas yang sama, kami lebih suka, berdasarkan pada pisau Occam, karena ia memiliki ketergantungan pada variabel yang lebih sedikit ( yaitu kami telah 'melakukan pemilihan fitur' dengan menetapkan beberapa elemen dari hingga nol). Kerataan adalah semacam versi berkelanjutan dari argumen ini. Jika setiap marjinal $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ memiliki standar deviasi satuan, dan memiliki misalnya 2 elemen yaitu 10, dan sisanya lebih kecil dari 0,0001, tergantung pada toleransi kebisingan Anda, ini secara efektif 'memilih' dua fitur, dan menghilangkan yang tersisa . $\theta_1$ $n-2$
Ketika trik kernel digunakan, Anda melakukan regresi linier dalam ruang vektor berdimensi tinggi (terkadang tak terbatas). Setiap elemen sekarang sesuai dengan salah satu sampel Anda , bukan fitur Anda . Jika elemen adalah non-nol, dan sisanya adalah nol, fitur yang sesuai dengan elemen non-nol disebut 'vektor dukungan' Anda. Untuk menyimpan model SVM Anda, katakanlah pada disk, Anda hanya perlu menyimpan vektor fitur , dan Anda dapat membuang sisanya. Sekarang kerataan sangat penting, karena memiliki $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ kecil mengurangi penyimpanan dan transmisi, dll , persyaratan. Sekali lagi, tergantung pada toleransi Anda terhadap kebisingan, Anda mungkin bisa nol semua elemen tetapi terbesar, untuk beberapa , setelah melakukan sebuah regresi SVM. Kerataan di sini setara dengan kekikiran sehubungan dengan jumlah vektor dukungan. $\theta$ $l$ $l$

— shabbychef
sumber

jadi ini pada dasarnya regresi dengan fungsi kerugian 'tabung' (0 penalti untuk poin +/- epsilon dari prediksi) daripada fungsi kerugian kuadratik dari OLS?

— conjugateprior

@Conjugate Prior: yes, biasanya regresi kernel meminimalkan fungsi 'epsilon-insenstive loss', yang dapat Anda anggap sebagai

lihat mis. Kernelsvm.tripod.com atau makalah lain oleh Smola et al .

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

— shabbychef

@shabbychef Terima kasih. Saya selalu bertanya-tanya apa yang sedang terjadi di sana.

— conjugateprior

@Conjugate Prior: Saya tidak berpikir ini sebenarnya adalah fungsi kerugian yang diinginkan, tetapi matematika akhirnya bekerja dengan baik, jadi mereka berlari dengannya. Setidaknya itu kecurigaan saya.

— shabbychef

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

shabbychef memberikan penjelasan yang sangat jelas dari perspektif kompleksitas model. Saya akan mencoba memahami masalah ini dari sudut pandang lain jika itu dapat membantu siapa saja.

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

Siapa pun dapat dengan mudah memperluas case satu dimensi ke case N-dimensional karena persamaan jarak akan selalu menjadi jarak Euclidean .

Selain itu, kami mungkin memiliki ulasan tentang masalah optimisasi dalam SVR untuk perbandingan [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Terima kasih.

[1] Smola, A., dan B. Schölkopf. Tutorial tentang mendukung vektor regresi. Statistik dan Komputasi, Vol. 14, No. 3, Agustus 2004, hlm. 199–222.

— oloopy
sumber