Perbedaan antara ep-SVR dan nu-SVR (dan kuadrat terkecil SVR)

11

Saya mencoba mencari tahu SVR mana yang cocok untuk data seperti itu.

Saya tahu 4 jenis SVR:

epsilon
nu
kuadrat terkecil dan
linier.

Saya mengerti linear SVR kurang lebih seperti laso dengan L1 Reg, Tapi apa perbedaan antara 3 teknik yang tersisa?

regression svm

— Sharath Chandra
sumber

11

Dalam -SVR, parameter digunakan untuk menentukan proporsi jumlah vektor dukungan yang ingin Anda simpan dalam solusi Anda sehubungan dengan jumlah total sampel dalam dataset. Dalam -SVR parameter dimasukkan ke dalam formulasi masalah optimisasi dan diperkirakan secara otomatis (optimal) untuk Anda. $\nu$ $\nu$ $\nu$ $\epsilon$

Namun, dalam -SVR Anda tidak memiliki kontrol pada berapa banyak vektor data dari dataset menjadi vektor pendukung, bisa beberapa, bisa banyak. Meskipun demikian, Anda akan memiliki kontrol total dari berapa banyak kesalahan yang Anda akan memungkinkan untuk memiliki model Anda, dan segala sesuatu di luar ditentukan akan dikenakan sanksi sebanding dengan , yang merupakan parameter regularisasi. $\epsilon$ $\epsilon$ $C$

Tergantung dari apa yang saya inginkan, saya memilih di antara keduanya. Jika saya benar-benar putus asa untuk solusi kecil (vektor dukungan lebih sedikit) saya memilih -SVR dan berharap untuk mendapatkan model yang layak. Tetapi jika saya benar-benar ingin mengendalikan jumlah kesalahan dalam model saya dan mencari kinerja terbaik, saya memilih -SVR dan berharap bahwa modelnya tidak terlalu rumit (banyak vektor dukungan). $\nu$ $\epsilon$

— Pablo Rivas
sumber

5

Perbedaan antara -SVR dan -SVR adalah bagaimana masalah pelatihan parametrized. Keduanya menggunakan jenis kehilangan engsel dalam fungsi biaya. The parameter dalam -SVM dapat digunakan untuk mengontrol jumlah vektor dukungan dalam model yang dihasilkan. Dengan parameter yang sesuai, masalah yang sama persis terpecahkan. ¹ $\epsilon$ $\nu$ $\nu$ $\nu$

Kuadrat terkecil SVR berbeda dari dua lainnya dengan menggunakan residu kuadrat dalam fungsi biaya daripada kerugian engsel.

¹ : C.-C. Chang dan C.-J. Lin Pelatihan - mendukung vektor regresi: Teori dan algoritma $\nu$ . Neural Computation, 14 (8): 1959-1977, 2002.

— Marc Claesen
sumber

Terima kasih atas jawaban Anda, Marc. Jadi bisakah kita membedakan metode yang sesuai berdasarkan dataset yang kita miliki? Jika demikian, dapatkah Anda memberi saya beberapa petunjuk? Saya memiliki 40000 sampel dengan 200 output berbeda. Jadi dapat dianggap sebagai 200 set dari 200 sampel unik. Input untuk semua 40000 berbeda, hanya outputnya unik untuk 200 sampel.

— Sharath Chandra

0

Saya suka jawaban Pablo dan Marc. Satu poin tambahan:

Dalam makalah yang dikutip oleh Marc ada tertulis (bagian 4)

"Motivasi -SVR adalah bahwa mungkin tidak mudah untuk menentukan parameter . Oleh karena itu, di sini kami tertarik pada kisaran yang mungkin dari . Seperti yang diharapkan, hasil menunjukkan bahwa terkait dengan nilai target . $\nu$ $\epsilon$ $\epsilon$ $\epsilon$ $y$

[...]

Karena rentang efektif dari dipengaruhi oleh nilai target , cara untuk mengatasi kesulitan ini untuk -SVM adalah dengan menskalakan nilai target sebelum melatih data. Misalnya, jika semua nilai target diskalakan ke , maka rentang efektif dari adalah , sama dengan . Maka mungkin lebih mudah untuk memilih . " $\epsilon$ $y$ $\epsilon$ $[-1,+1]$ $\epsilon$ $[0, 1]$ $\nu$ $\epsilon$

Itu membuat saya berpikir bahwa seharusnya lebih mudah untuk mengukur variabel target Anda dan menggunakan -SVR, daripada mencoba memutuskan apakah akan menggunakan atau SVR. $\epsilon$ $\epsilon -$ $\nu -$

Bagaimana menurut anda?

— spec3
sumber