108

Bagaimana cara kerja Mesin Vector Support (SVM) bekerja, dan apa yang membedakannya dari pengklasifikasi linier lainnya, seperti Linear Perceptron , Analisis Diskriminan Linear , atau Regresi Logistik ? *

(* Saya sedang berpikir dalam hal motivasi yang mendasari algoritma, strategi optimasi, kemampuan generalisasi, dan kompleksitas run-time )

— tdc
sumber

4

Lihat juga: stats.stackexchange.com/questions/3947/…

lihat juga stats.stackexchange.com/questions/80398/…

126

Mesin dukungan vektor hanya fokus pada titik-titik yang paling sulit dibedakan, sedangkan pengklasifikasi lain memperhatikan semua titik.

Intuisi di balik pendekatan mesin dukungan vektor adalah bahwa jika classifier bagus dalam perbandingan yang paling menantang (titik-titik dalam B dan A yang paling dekat satu sama lain dalam Gambar 2), maka classifier akan lebih baik pada perbandingan yang mudah ( membandingkan titik dalam B dan A yang jauh dari satu sama lain).

Perseptrons dan pengklasifikasi lainnya:

Perceptrons dibangun dengan mengambil satu titik pada satu waktu dan menyesuaikan garis pemisah sesuai. Segera setelah semua poin dipisahkan, algoritma perceptron berhenti. Tapi itu bisa berhenti di mana saja. Gambar 1 menunjukkan bahwa ada banyak garis pemisah yang berbeda yang memisahkan data. Kriteria berhenti perceptron itu sederhana: "pisahkan poin dan berhenti meningkatkan garis ketika Anda mendapatkan pemisahan 100%". Perceptron tidak secara eksplisit diberitahu untuk menemukan garis pemisah terbaik. Regresi logistik dan model diskriminan linier dibangun serupa dengan perceptron.

Garis pemisah terbaik memaksimalkan jarak antara titik B yang paling dekat dengan A dan titik A yang paling dekat dengan B. Tidak perlu melihat semua titik untuk melakukan ini. Bahkan, memasukkan umpan balik dari titik-titik yang jauh dapat menabrak garis sedikit terlalu jauh, seperti yang terlihat di bawah ini.

masukkan deskripsi gambar di sini

Mendukung Mesin Vektor:

Tidak seperti pengklasifikasi lain, mesin vektor dukungan secara eksplisit diberitahu untuk menemukan garis pemisah terbaik. Bagaimana? Mesin dukungan vektor mencari titik terdekat (Gambar 2), yang disebutnya "vektor dukungan" (nama "mesin vektor dukungan" disebabkan oleh fakta bahwa titik-titik itu seperti vektor dan bahwa garis terbaik "tergantung pada" atau "didukung oleh" titik terdekat).

Setelah menemukan titik terdekat, SVM menarik garis yang menghubungkannya (lihat garis berlabel 'w' pada Gambar 2). Ini menarik garis penghubung ini dengan melakukan pengurangan vektor (titik A - titik B). Mesin dukungan vektor kemudian menyatakan garis pemisah terbaik untuk menjadi garis yang membagi dua - dan tegak lurus ke - garis penghubung.

Mesin dukungan vektor lebih baik karena ketika Anda mendapatkan sampel baru (poin baru), Anda akan telah membuat garis yang membuat B dan A sejauh mungkin dari satu sama lain, sehingga kecil kemungkinannya bahwa satu akan menyebar di seluruh garis ke wilayah lain.

masukkan deskripsi gambar di sini

Saya menganggap diri saya seorang pembelajar visual, dan saya berjuang dengan intuisi di balik mesin vektor dukungan untuk waktu yang lama. Makalah yang disebut Dualitas dan Geometri di SVM Classifier akhirnya membantu saya melihat cahaya; dari sanalah saya mendapatkan gambarnya.

— Ryan Zotti
sumber

4

+1 dari pelajar visual lain! Untuk pembaca, saya ingin mencatat bahwa batas-batas ini jelas pada gambar di atas didasarkan pada kumpulan data yang telah ditransformasikan. Bukan kumpulan data mentah.

— Kingz

Membaca svm selama lebih dari dua tahun, hari ini mengerti bagaimana garis pemisahan diidentifikasi dan beberapa hal lagi. Terima kasih atas jawaban bersihnya.

— user123

53

Jawaban Ryan Zotti menjelaskan motivasi di balik pemaksimalan batas keputusan, jawaban carlosdc memberikan beberapa persamaan dan perbedaan sehubungan dengan pengklasifikasi lain. Saya akan memberikan jawaban ini ikhtisar matematis singkat tentang bagaimana SVM dilatih dan digunakan.

Notasi

Berikut ini, skalar dilambangkan dengan huruf miring italic (misalnya, ), vektor dengan huruf tebal lebih rendah (misalnya, ), dan matriks dengan huruf miring italic (misalnya, ). adalah transposisi dari , dan . $y,\, b$ $\mathbf{w},\, \mathbf{x}$ $W$ $\mathbf{w^T}$ $\mathbf{w}$ $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Membiarkan:

$\mathbf{x}$ menjadi vektor fitur (yaitu, input SVM). , di mana adalah dimensi dari vektor fitur. $\mathbf{x} \in \mathbb{R}^n$ $n$
$y$ menjadi kelas (yaitu, output dari SVM). , yaitu tugas klasifikasi adalah biner. $y \in \{ -1,1\}$
$\mathbf{w}$ dan menjadi parameter SVM: kita perlu mempelajarinya menggunakan set pelatihan. $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ menjadi sampel dalam dataset. Anggaplah kita memiliki sampel di set pelatihan. $i^ {\text {th}}$ $N$

Dengan , seseorang dapat mewakili batas keputusan SVM sebagai berikut: $n=2$

Kelas ditentukan sebagai berikut: $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

yang dapat ditulis lebih ringkas sebagai . $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Tujuan

SVM bertujuan untuk memenuhi dua persyaratan:

SVM harus memaksimalkan jarak antara dua batas keputusan. Secara matematis, ini berarti kami ingin memaksimalkan jarak antara hyperplane yang ditentukan oleh dan hyperplane yang didefinisikan oleh . Jarak ini sama dengan . Ini berarti kami ingin menyelesaikan . Setara kita ingin . $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVM juga harus mengklasifikasikan dengan benar semua , yang berarti $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Yang membawa kita ke masalah optimisasi kuadrat berikut:

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

Ini adalah SVM hard-margin , karena masalah optimisasi kuadratik ini mengakui solusi jika data terpisah secara linear.

Seseorang dapat mengendurkan kendala dengan memperkenalkan apa yang disebut variabel slack . Perhatikan bahwa setiap sampel himpunan pelatihan memiliki variabel kendur sendiri. Ini memberi kami masalah optimasi kuadrat berikut: $\xi^{(i)}$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Ini adalah SVM soft-margin . adalah hiperparameter yang disebut penalti dari istilah kesalahan . ( Apa pengaruh C dalam SVM dengan kernel linear? Dan rentang pencarian mana untuk menentukan parameter optimal SVM? ). $C$

Seseorang dapat menambahkan lebih banyak fleksibilitas dengan memperkenalkan fungsi yang memetakan ruang fitur asli ke ruang fitur dimensi yang lebih tinggi. Ini memungkinkan batas keputusan non-linear. Masalah optimasi kuadrat menjadi: $\phi$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} ϕ (x^{(i)}) + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Optimasi

Masalah optimisasi kuadrat dapat diubah menjadi masalah optimisasi lain bernama masalah ganda Lagrangian (masalah sebelumnya disebut primal ):

\begin{aligned} max_{α} & min_{w, b} \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} α^{(i)} (1 - w^{T} ϕ (x^{(i)}) + b)), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

Masalah optimisasi ini dapat disederhanakan (dengan mengatur beberapa gradien ke ) ke: $0$

\begin{aligned} max_{α} & \sum_{i = 1}^{N} α^{(i)} - \sum_{i = 1}^{N} \sum_{j = 1}^{N} (y^{(i)} α^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{(j)}) y^{(j)} α^{(j)}), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ tidak muncul sebagai (seperti yang dinyatakan oleh teorema representer ). $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Karenanya kami mempelajari menggunakan dari set pelatihan. $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Mengapa repot dengan masalah ganda saat memasang SVM? Jawaban singkat: komputasi lebih cepat + memungkinkan untuk menggunakan trik kernel, meskipun ada beberapa metode yang baik untuk melatih SVM di awal seperti contoh lihat {1})

Membuat prediksi

Setelah dipelajari, seseorang dapat memprediksi kelas sampel baru dengan vektor fitur sebagai berikut: $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} y^{test} & = sign (w^{T} ϕ (x^{test}) + b) \\ = sign (\sum_{i = 1}^{N} α^{(i)} y^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{test}) + b) \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

Penjumlahan bisa tampak luar biasa, karena itu berarti kita harus menjumlahkan semua sampel pelatihan, tetapi sebagian besar adalah (lihat Mengapa Pengganda lagrange jarang untuk SVM? ) Jadi dalam praktiknya ini bukan masalah. (perhatikan bahwa seseorang dapat membuat kasus khusus di mana semua ) iff adalah vektor dukungan . Ilustrasi di atas memiliki 3 vektor dukungan. $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

Trik kernel

Kita dapat mengamati bahwa masalah optimisasi menggunakan hanya di produk dalam . Fungsi yang memetakan ke produk dalam yang disebut sebuah kernel , alias fungsi kernel, sering dilambangkan dengan . $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

Orang dapat memilih sehingga produk dalam efisien untuk dihitung. Ini memungkinkan untuk menggunakan ruang fitur yang berpotensi tinggi dengan biaya komputasi yang rendah. Itu disebut trik kernel . Agar fungsi kernel valid , yaitu dapat digunakan dengan trik kernel, ia harus memenuhi dua properti utama . Ada banyak fungsi kernel untuk dipilih . Sebagai catatan tambahan, trik kernel dapat diterapkan ke model pembelajaran mesin lainnya , dalam hal ini mereka disebut sebagai kernel . $k$

Melangkah lebih jauh

Beberapa QA menarik di SVM:

Tautan lain:

Kuadrat terkecil mendukung mesin vektor

Referensi:

{1} Chapelle, Olivier. "Melatih mesin vektor pendukung di awal." Komputasi saraf 19, no. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=id&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— Franck Dernoncourt
sumber

2

Hai Franck, terima kasih banyak atas jawaban Anda. Maukah Anda menjelaskan mengapa vektor orthogonal ke hyperplane yang dihasilkan SVM? Dan bagaimana Anda menghitung jarak antara dua batas keputusan untuk sama dengan

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik

3

Selain jawaban yang bagus ini, saya ingin merekomendasikan video ini yang berjalan melalui matematika di belakang SVM dan terutama mengklarifikasi pertanyaan @tosik berkomentar youtube.com/watch?v=_PwhiWxHK8o

— Nikolas Rieble

Jawaban yang sangat bagus Hanya satu komentar untuk bagian ini: iff adalah vektor dukungan . Untuk klasifikasi, penjumlahan secara efektif di atas vektor dukungan (yaitu, ).

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989

13

Saya akan fokus pada persamaan dan perbedaannya dari pengklasifikasi lain:

Dari perceptron: SVM menggunakan kehilangan engsel dan regularisasi L2, perceptron menggunakan kehilangan perceptron dan dapat menggunakan penghentian awal (atau di antara teknik lainnya) untuk regularisasi, benar-benar tidak ada istilah regularisasi dalam perceptron. Karena tidak memiliki istilah regularisasi, perceptron pasti akan mengalami overtraining, oleh karena itu kemampuan generalisasi dapat menjadi buruk secara sewenang-wenang. Optimasi dilakukan dengan menggunakan penurunan gradien stokastik dan karenanya sangat cepat. Di sisi positif, makalah ini menunjukkan bahwa dengan melakukan penghentian dini dengan fungsi kerugian yang sedikit dimodifikasi, kinerja dapat setara dengan SVM.
Dari regresi logistik: regresi logistik menggunakan istilah kerugian logistik dan dapat menggunakan regularisasi L1 atau L2. Anda dapat menganggap regresi logistik sebagai saudara diskriminatif dari generatif-naif Bayes.
Dari LDA: LDA juga dapat dilihat sebagai algoritma generatif, ia mengasumsikan bahwa fungsi kepadatan probabilitas (p (x | y = 0) dan p (x | y = 1) terdistribusi secara normal. Ini sangat ideal ketika data berada dalam Bahkan biasanya didistribusikan. memiliki namun, downside bahwa "pelatihan" membutuhkan inversi matriks yang dapat menjadi besar (bila Anda memiliki banyak fitur). Di bawah homocedasticity LDA menjadi QDa yang Bayes optimal untuk data terdistribusi secara normal. Artinya jika asumsi puas Anda benar-benar tidak bisa melakukan lebih baik dari ini.

Pada saat runtime (waktu uji), setelah model telah dilatih, kompleksitas semua metode ini adalah sama, itu hanya produk titik antara hyperplane prosedur pelatihan yang ditemukan dan titik data.

— carlosdc
sumber

1

Karena Anda tampaknya sangat kompeten dalam SVM, izinkan saya meminta Anda untuk mengklarifikasi keraguan saya: sekali kami menemukan hyperplane pemisah terbaik, untuk apa kami menggunakannya? Kita dapat mendefinisikan SVM sebagai metode yang, pertama, memilih hyperplane terbaik untuk mengklasifikasikan poin data dengan benar, dan, kedua, ini menggunakan hyperplane ini untuk memutuskan titik data baru di dua kelas. Baik? (Saya punya beberapa keraguan pada bagian kedua)

— DavideChicco.it

1

@ DavideChicco.it Ya, kita dapat menggunakan fungsi indikator untuk mengklasifikasikan data baru, yang sering kali merupakan tujuan utama pengklasifikasi. (Namun, jangan menerima kata-kata saya untuk semua ini, saya baru mengenal semuanya).

— keyser

12

Teknik ini didasarkan pada menggambar garis batas keputusan meninggalkan margin cukup untuk contoh positif dan negatif pertama mungkin:

Seperti pada ilustrasi di atas, jika kita memilih vektor ortogonal sehingga kita dapat menetapkan kriteria keputusan untuk setiap contoh yang tidak diketahui untuk dikategorikan sebagai positif dari bentuk: $\lVert w \rVert=1$ $\mathbf u$

w \cdot u \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

sesuai dengan nilai yang akan menempatkan proyeksi di luar garis keputusan di tengah jalan. Perhatikan bahwa . $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Kondisi yang setara untuk sampel positif adalah:

\begin{matrix} (1) & w \cdot u + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

dengan $C = - b.$

Kita perlu dan untuk memiliki aturan keputusan, dan untuk sampai ke sana kita membutuhkan kendala . $b$ $\color{blue}{\mathbf w}$

Batasan pertama yang akan kami terapkan adalah bahwa untuk sampel positif ,, ; dan untuk sampel negatif, . Di batas divisi atau hyperplane ( median ) nilainya akan , sedangkan nilai di talang akan dan : $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

Vektor adalah vektor bobot , sedangkan adalah bias . $\bf w$ $b$

Untuk menyatukan dua ketidaksetaraan ini, kita dapat memperkenalkan variabel sehingga untuk contoh positif, dan jika contoh negatif, dan menyimpulkan $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

Jadi kami menetapkan bahwa ini harus lebih besar dari nol, tetapi jika contohnya adalah pada hyperplanes ("talang") yang memaksimalkan margin pemisahan antara hyperplane keputusan dan ujung vektor dukungan, dalam hal ini garis), kemudian:

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

Perhatikan bahwa ini setara dengan mengharuskan $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

Kendala kedua : jarak keputusan hyperplane ke ujung vektor dukungan akan dimaksimalkan. Dengan kata lain margin pemisahan ("jalan") akan dimaksimalkan:

Dengan asumsi vektor satuan tegak lurus terhadap batas keputusan, , produk titik dengan perbedaan antara dua contoh "berbatasan" plus dan minus adalah lebar "jalan" : $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

Pada persamaan di atas dan berada di selokan (pada hyperplanes memaksimalkan pemisahan). Karenanya, untuk contoh positif: , atau ; dan untuk contoh negatif: . Jadi, merumuskan kembali lebar jalan: $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} width & = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖} \\ = \frac{x_{+} \cdot w - x_{-} \cdot w}{‖ w ‖} \\ = \frac{1 - b - (- 1 - b)}{‖ w ‖} \\ (3) & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

Jadi sekarang kita hanya perlu memaksimalkan lebar jalan - yaitu maksimalkan perkecil , atau perkecil: $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} (4) & \frac{1}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

yang secara matematis nyaman.

Jadi kami ingin:

Minimalkan dengan batasan: $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

Karena kami ingin meminimalkan ekspresi ini berdasarkan beberapa kendala, kami memerlukan pengali Lagrange (kembali ke persamaan 2 dan 4):

\begin{matrix} (5) & L = \frac{1}{2} ‖ w ‖^{2} - \sum λ_{i} [y_{i} (x_{i} \cdot w + b) - 1] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

Membedakan,

\frac{\partial L}{\partial w} = w - \sum λ_{i} y_{i} x_{i} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ .

Karena itu,

\begin{matrix} (6) & w = \sum λ_{i} y_{i} x_{i} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

Dan membedakan sehubungan dengan $b:$

\frac{\partial L}{\partial b} = - \sum λ_{i} y_{i} = 0,

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

yang berarti bahwa kami memiliki produk penjumlahan nol dan label:

\begin{matrix} (7) & \sum λ_{i} y_{i} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

Pasang persamaan Persamaan (6) kembali ke Persamaan (5),

L = \frac{1}{2} (\sum λ_{i} y_{i} x_{i}) (\sum λ_{j} y_{j} x_{j}) - (\sum λ_{i} y_{i} x_{i}) \cdot (\sum λ_{j} y_{j} x_{j}) - \sum λ_{i} y_{i} b + \sum λ_{i}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

Istilah kedua dari belakang adalah nol sesuai persamaan Persamaan (7).

Karena itu,

\begin{matrix} (8) & L = \sum λ_{i} - \frac{1}{2} \sum_{i} \sum_{j} λ_{i} λ_{j} y_{i} y_{j} x_{i} \cdot x_{j} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

Persamaan (8) menjadi Lagrangian terakhir.

Oleh karena itu, optimasi tergantung pada produk titik dari pasangan contoh.

Kembali ke "aturan keputusan" pada Persamaan (1) di atas, dan menggunakan Persamaan (6):

\begin{matrix} (9) & \sum λ_{i} y_{i} x_{i} \cdot u + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

akan menjadi aturan keputusan akhir untuk vektor baru $\mathbf u.$

— Antoni Parellada
sumber

Tidak ada yang asli ... Hanya catatan saya sendiri di tingkat entri yang lebih. Pada dasarnya dari video ini dari MIT dengan ilustrasi saya sendiri. Untuk kesalahan, harap beri tahu saya. Untuk jawaban yang berwawasan luas, dan perincian lebih lanjut, pergi ke tingkat ahli (jabatan Franck dan lainnya)

— Antoni Parellada

Dan bagaimana cara menghitung b ?

— mike

1

@mike dengan menjadi himpunan indeks vektor dukunganAnda dapat menemukannya di sini .

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— Antoni Parellada

@AntoniParellada jawaban luar biasa Antoni terima kasih banyak - tetapi bukankah Anda melewatkan bagian pada masalah Dual dan kondisi KTT?

— Xavier Bourret Sicotte

@XavierBourretSicotte Saya tidak akan bisa mengatasinya untuk sementara waktu. Harap pertimbangkan untuk menulis jawaban alternatif yang menyentuh masalah ini, dan jika Anda melakukannya, beri tahu saya agar saya menyadarinya, dan dapat membatalkannya.

— Antoni Parellada

3

Beberapa komentar tentang kondisi Dualitas dan KTT

Masalah mendasar

Mengambil dari @ pasca Antoni di antara persamaan dan , ingat bahwa kami asli, atau primal , masalah optimasi dalam bentuk: $(4)$ $(5)$

\begin{aligned} min_{w, b} f (w, b) & = min_{w, b} \frac{1}{2} | | w | |^{2} \\ s . t . g_{i} (w, b) & = - y^{(i)} (w^{T} x^{(i)} + b) + 1 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

Metode Lagrange

Metode pengganda Lagrange memungkinkan kami mengubah masalah optimisasi terbatas menjadi salah satu bentuk yang tidak dibatasi:

L (w, b, α) = \frac{1}{2} | | w | |^{2} - \sum_{i}^{m} α_{i} [y^{(i)} (w^{T} x^{(i)} + b) - 1]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

Di mana disebut Lagrangian dan disebut pengganda Lagrangian . $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

Masalah optimasi primal kami dengan Lagrangian menjadi sebagai berikut: (perhatikan bahwa penggunaan , bukan yang paling ketat karena kami juga harus menggunakan dan sini ...) $min$ $max$ $\inf$ $\sup$

min_{w, b} (max_{α} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

Masalah ganda

Apa yang dilakukan @Antoni dan Prof. Patrick Winston dalam derivasi mereka adalah mengasumsikan bahwa fungsi optimasi dan kendala memenuhi beberapa kondisi teknis sehingga kita dapat melakukan hal berikut:

min_{w, b} (max_{α} L (w, b, α)) = max_{α} (min_{w, b} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

Ini memungkinkan kita untuk mengambil turunan parsial dari sehubungan dengan dan , menyamakan dengan nol dan kemudian menyambungkan hasilnya kembali ke persamaan asli Lagrangian, maka menghasilkan setara masalah optimasi ganda formulir $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} max_{α} min_{w, b} L (w, b, α) \\ max_{α} \sum_{i}^{m} α_{i} - \frac{1}{2} \sum_{i, j}^{m} y^{(i)} y^{(j)} α_{i} α_{j} < x^{(i)} x^{(j)} > \\ s . t . α_{i} \geq 0 \\ s . t . \sum_{i}^{m} α_{i} y^{(i)} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

Dualitas dan KTT

Tanpa membahas teknis matematika yang berlebihan, kondisi ini merupakan kombinasi dari kondisi Dualitas dan Karush Kuhn Tucker (KTT) dan memungkinkan kami untuk menyelesaikan masalah ganda alih-alih masalah primer , sambil memastikan bahwa solusi optimalnya sama. Dalam kasus kami, kondisinya adalah sebagai berikut:

Fungsi tujuan utama dan kendala ketidaksetaraan harus cembung
Fungsi kendala kesetaraan harus affine
Kendala harus benar-benar layak

Lalu ada yang merupakan solusi untuk masalah primal dan ganda. Selain itu, parameter memenuhi kondisi KTT di bawah ini: $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (A) \\ \frac{\partial}{\partial β_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (B) \\ α_{i}^{*} g_{i} (w^{*}) = 0 & (C) \\ g_{i} (w^{*}) \leq 0 & (D) \\ α_{i}^{*} \geq 0 & (E) \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

Selain itu, jika beberapa memenuhi solusi KTT maka mereka juga solusi untuk masalah primal dan ganda. $w^*, \alpha^*$

Persamaan atas sangat penting dan disebut kondisi saling melengkapi ganda . Ini menyiratkan bahwa jika maka yang berarti bahwa kendala aktif, yaitu tetap dengan persamaan daripada ketidaksetaraan. Ini adalah penjelasan di balik persamaan dalam derivasi Antoni di mana kendala ketimpangan diubah menjadi kendala kesetaraan. $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

Diagram intuitif tetapi informal

Sumber

Andrew Ng 1 dan 2
MIT

— Xavier Bourret Sicotte
sumber

2

Terima kasih banyak. Saya membacanya dengan cepat, dan kembali lagi nanti dengan lebih banyak waktu, tetapi kedengarannya hebat, dan menyentuh poin-poin yang hilang dalam jawaban saya.

— Antoni Parellada

Bagaimana cara kerja Mesin Vector Support (SVM) bekerja?

Notasi

Tujuan

Optimasi

Membuat prediksi

Trik kernel

Melangkah lebih jauh

Beberapa komentar tentang kondisi Dualitas dan KTT

Masalah mendasar

Metode Lagrange

Masalah ganda

Dualitas dan KTT

Diagram intuitif tetapi informal

Sumber