Manifold regularisasi menggunakan grafik laplacian di SVM

Saya mencoba menerapkan Manifold Regularization di Support Vector Machines (SVMs) di Matlab. Saya mengikuti instruksi di kertas oleh Belkin et al. (2006), ada persamaan di dalamnya:

$f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2}$

di mana V adalah beberapa fungsi kerugian dan $\gamma_A$ adalah bobot norma fungsi dalam RHKS (atau norma ambien), menegakkan kondisi kehalusan pada solusi yang mungkin, dan $\gamma_I$ adalah bobot norma fungsi di manifold dimensi rendah (atau norma intrinsik), yang berlaku mulus di sepanjang sampel M. Pengatur ambien membuat masalah dengan baik, dan kehadirannya dapat sangat membantu dari sudut pandang praktis ketika asumsi manifold berlaku pada tingkat yang lebih rendah .

Telah ditunjukkan dalam Belkin et al. (2006) yang $f^*$ mengakui ekspansi dalam hal $n$ titik S, $f^*(x)=\sum_{i=1}^{n}\alpha_i^*k(x_i,x)$ Fungsi keputusan yang membedakan antara kelas +1 dan -1 adalah $y(x)=sign(f^*(x))$ .

Masalahnya di sini adalah, saya mencoba untuk melatih SVM menggunakan LIBSVM di MATLAB tapi saya tidak ingin memodifikasi kode asli, jadi saya telah menemukan versi precomputed dari LIBSVM yang alih-alih mengambil data input, dan grup output sebagai parameter. , dapatkan Kernal matrix dikomputasi dan kelompok keluaran dan melatih model SVM. Saya mencoba memberi makan dengan matriks Kernel yang diregulasi (Gram Matrix) dan biarkan ia melakukan sisanya.

Saya mencoba menemukan formula yang mengatur Kernal dan sampai pada ini: Mendefinisikan sebagai matriks identitas dengan dimensi yang sama dengan Kernel Matrix,$I$$K$

$G=\frac{2\gamma_AI + 2\gamma_ILK}{I}$

$Gram = KG$

Di mana adalah Matriks Grafik Laplacian, adalah Matriks Kernel dan adalah matriks identitas. Dan dihitung dengan menggunakan perkalian dalam dari dua matriks dan .$L$$K$$I$$Gram$$K$$G$

Apakah ada orang yang dapat membantu saya mengetahui bagaimana ini dihitung?

Meskipun saya tidak mengujinya , membaca artikel, masalah optimisasi, baik untuk SVM dan LapSVM , diberikan sebagai:

$$\beta^*=\max_{\beta\in\mathbb R^l} \sum_{i = 1}^{l}\beta_i - {1\over 2}\beta^TQ\beta$$ tunduk pada: $$\sum_{i = 1}^{l}\beta_iy_i = 0\\ 0 \le \beta_i \le {1\over l}\text{, with }i=1,\dots,l$$

Untuk SVM :

$$Q_{\text{SVM}} = Y\left(K \over 2\gamma\right)Y\\ \alpha^*_{\text{SVM}}={Y\beta^* \over 2\gamma}$$

Sementara untuk LapSVM kami memiliki yang berikut (tanda kurung ditambahkan untuk membuat hubungan lebih jelas):

$$Q_{\text{LapSVM}} = Y\left( JK \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1} J^T\right)Y\\ \alpha^*_{\text{LapSVM}}= \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1}J^TY\beta^*$$

Kita dapat mendefinisikan jika:

$$Q_{\text{SVM*}} \equiv Q_{\text{LapSVM}}$$

$$\left\{\begin{matrix} \gamma_{\text{SVM*}} = 1/2 \\ K_{\text{SVM*}}=JK_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \end{matrix}\right.$$

Terakhir:

$$\alpha^*_{\text{LapSVM}}= K_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \alpha^*_{\text{SVM*}}$$

---

Saya dapat mengkonfirmasi bahwa itu berfungsi. Lihat contoh ini dengan kernel Gaussian, dan bagaimana kelas virginicamulai merayap ke dalam data yang tidak berlabel ketika dibandingkan dengan , yang merupakan SVM standar.$\gamma_I = 2500$$\gamma_I = 0$