Mengapa pengganda Lagrange jarang untuk SVM?

Saya pernah membaca bahwa untuk Maximal Margin Classifier SVM, setelah menyelesaikan masalah ganda, sebagian besar pengganda lagrange berubah menjadi nol. Hanya yang sesuai dengan vektor dukungan yang berubah menjadi positif.

Mengapa demikian?

Pengganda Lagrange dalam konteks SVM biasanya dilambangkan $\alpha_i$. Fakta bahwa seseorang sering mengamati itu$\alpha_i=0$adalah konsekuensi langsung dari kondisi saling melengkapi ganda Karush-Kuhn-Tucker (KKT) :

Sejak $y_i(\mathbf{w}^T\mathbf{x}_i+b) = 1$ iff $\mathbf{x}_i$ ada di batas keputusan SVM, yaitu asumsi vektor dukungan $\mathbf{x}_i$ ada di set pelatihan, dan dalam kebanyakan kasus beberapa vektor pelatihan adalah vektor pendukung, seperti yang ditunjukkan dalam komentar, itu artinya sebagian besar $\alpha_i$ adalah 0 atau $C$.

Catatan Kuliah CS229 dari Andrew Ng tentang SVM memperkenalkan kondisi saling melengkapi ganda Karush-Kuhn-Tucker (KKT):

Perhatikan bahwa kita dapat membuat beberapa kasus di mana semua vektor dalam set pelatihan adalah vektor dukungan: mis . Lihat Pertanyaan Mesin Vektor Dukungan ini .