Mengapa repot dengan masalah ganda saat memasang SVM?

50

Mengingat titik data dan label , masalah utama hard margin SVM adalah $x_1, \ldots, x_n \in \mathbb{R}^d$ $y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

{minimize}_{w, w_{0}} \frac{1}{2} w^{T} w

$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$

s.t. \forall i : y_{i} (w^{T} x_{i} + w_{0}) \geq 1

$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$

yang merupakan program kuadrat dengan variabel harus dioptimalkan untuk dan kendala. Dual $d+1$ $i$

{maximize}_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} y_{i} y_{j} α_{i} α_{j} x_{i}^{T} x_{j}

$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$

adalah program kuadratik dengan

variabel yang akan dioptimalkan untuk dan

ketidaksetaraan dan

kendala kesetaraan.

s.t. \forall i : α_{i} \geq 0 \land \sum_{i = 1}^{n} y_{i} α_{i} = 0

$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$

n + 1

$n + 1$

n

$n$

n

$n$

Ketika menerapkan SVM hard margin, mengapa saya harus memecahkan masalah ganda alih-alih masalah primer? Masalah utama terlihat lebih 'intuitif' bagi saya, dan saya tidak perlu khawatir dengan kesenjangan dualitas, kondisi Kuhn-Tucker dll.

Masuk akal bagi saya untuk memecahkan masalah ganda jika , tapi saya curiga ada alasan yang lebih baik. Apakah ini masalahnya? $d \gg n$

svm

— blubb
sumber

26

Jawaban singkatnya adalah kernel. Jawaban panjangnya adalah keeerneeels (-;

Hal terpenting dari masalah ganda adalah memperkenalkan trik kernel, yang bertujuan memetakan data asli ke ruang angkasa dengan dimensi yang lebih tinggi.

— BigeyeDestroyer

40

Berdasarkan catatan kuliah yang dirujuk dalam jawaban @ user765195 (terima kasih!), Alasan yang paling jelas tampaknya adalah:

$w$ $\alpha_i$ $x$ $w^Tx$ $d$

$\alpha_i$ $\alpha_i = 0$ $x$

w^{T} x + w_{0} = {(\sum_{i = 1}^{n} α_{i} y_{i} x_{i})}^{T} x + w_{0} = \sum_{i = 1}^{n} α_{i} y_{i} ⟨ x_{i}, x ⟩ + w_{0}

$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$

Istilah ini sangat efisien dihitung jika hanya ada beberapa vektor dukungan. Lebih lanjut, karena sekarang kami memiliki produk skalar yang hanya melibatkan vektor data , kami dapat menerapkan trik kernel .

— blubb
sumber

6

Tunggu tunggu. Katakanlah Anda memiliki dua vektor dukungan x1 dan x2. Anda tidak dapat memiliki kurang dari dua, kan? Apakah Anda mengatakan bahwa komputasi <x1, x> dan <x2, x> lebih cepat dari <w, x>?

— Leo

1

@ Leo: Perhatikan bahwa saya menggunakan <x1, x>dan wTx. Yang pertama digunakan sebagai simbol untuk evaluasi kernel K (x1, x), yang memproyeksikan x1 dan x ke ruang dimensi yang sangat tinggi dan menghitung secara implisit produk skalar dari nilai yang diproyeksikan. Yang terakhir adalah produk skalar normal, jadi wdan xharus diproyeksikan secara eksplisit, dan kemudian produk skalar dihitung secara eksplisit. Bergantung pada pilihan kernel, perhitungan tunggal yang eksplisit mungkin membutuhkan lebih banyak perhitungan daripada banyak evaluasi kernel.

— blubb

1

α

$\alpha$

α

$\alpha$

α

$\alpha$

2

"Lebih jauh, karena kita sekarang memiliki produk skalar yang hanya melibatkan vektor data, kita dapat menerapkan trik kernel." - Itu juga benar dalam formulasi primal.

— Firebug

2

Jika orang ingin lebih detail pada komentar dari @ Firebug ... lihat persamaan 10-12 dari lib.kobe-u.ac.jp/repository/90001050.pdf (yang merupakan versi primer yang tidak dibatasi).

— MrDrFenner

13

Baca paragraf kedua di halaman 13 dan diskusi melanjutkannya dalam catatan ini:

http://cs229.stanford.edu/notes/cs229-notes3.pdf

— pengguna765195
sumber

17

Itu adalah referensi yang bagus dan jelas menjawab pertanyaan itu. Saya pikir balasan Anda akan lebih dihargai jika Anda bisa merangkum jawabannya di sini: yang membuat utas ini berdiri sendiri.

— Whuber

3

Inilah salah satu alasan mengapa formulasi ganda menarik dari sudut pandang optimasi numerik. Anda dapat menemukan detailnya di koran berikut :

Hsieh, C.-J., Chang, K.-W., Lin, C.-J., Keerthi, SS, dan Sundararajan, S., "Metode keturunan ganda koordinat untuk skala besar linear SVM", Prosiding Konferensi Internasional ke 25 tentang Pembelajaran Mesin, Helsinki, 2008.

Formulasi rangkap melibatkan satu kendala kesetaraan afin tunggal dan kendala terikat.

1. Kendala kesetaraan afin dapat "dihilangkan" dari formulasi ganda.

Ini dapat dilakukan dengan hanya melihat data Anda di R ^ (d + 1) melalui penyisipan R ^ d di R ^ (d + 1) yang memutuskan untuk menambahkan koordinat "1" tunggal ke setiap titik data, yaitu R ^ d ----> R ^ (d +1): (a1, ..., iklan) | ---> (a1, ..., iklan, 1).

Melakukan ini untuk semua poin dalam set pelatihan menampilkan kembali masalah keterpisahan linear dalam R ^ (d + 1) dan menghilangkan istilah konstan w0 dari classifier Anda, yang pada gilirannya menghilangkan kendala kesetaraan afin dari dual.

2. Pada poin 1, dual dapat dengan mudah dilemparkan sebagai masalah optimisasi kuadratik cembung yang batasannya hanya kendala terikat.

3. Masalah ganda sekarang dapat diselesaikan secara efisien, yaitu melalui algoritma penurunan koordinat ganda yang menghasilkan solusi epsilon-optimal di O (log (1 / epsilon)).

Ini dilakukan dengan mencatat bahwa memperbaiki semua alpha kecuali satu menghasilkan solusi bentuk-tertutup. Anda kemudian dapat menggilir semua huruf satu per satu (mis. Memilih satu secara acak, memperbaiki semua huruf lain, menghitung solusi bentuk tertutup). Seseorang dapat menunjukkan bahwa Anda akan mendapatkan solusi yang hampir optimal "agak cepat" (lihat Teorema 1 dalam makalah yang disebutkan sebelumnya).

Ada banyak alasan lain mengapa masalah ganda menarik dari sudut pandang optimisasi, beberapa di antaranya mengeksploitasi fakta bahwa ia hanya memiliki satu kendala kesetaraan afin (kendala yang tersisa semuanya merupakan kendala terikat) sementara yang lain mengeksploitasi pengamatan bahwa pada solusi dari masalah ganda "seringkali sebagian besar alpha" adalah nol (bukan nol nol yang sesuai dengan vektor dukungan).

Anda bisa mendapatkan gambaran umum yang baik dari pertimbangan optimasi numerik untuk SVM dari presentasi Stephen Wright di Computational Learning Workshop (2009).

PS: Saya baru di sini. Permintaan maaf karena tidak pandai menggunakan notasi matematika di situs web ini.

— aTn
sumber

1

Informasi tentang cara menggunakan pengetikan matematika ada di sini: math.meta.stackexchange.com/questions/5020/…

— Monica

-5

Menurut pendapat saya dalam catatan kuliah Andrew ng, telah dengan jelas disebutkan bahwa masalah utama 1 / || w ||, adalah masalah yang tidak cembung. Dual adalah masalah cembung dan selalu mudah untuk menemukan fungsi cembung yang optimal.

— Avni Kant Rai
sumber

1

Primal SVM seperti disebutkan di atas adalah cembung.

— Dougal