Apakah Gradient Descent dimungkinkan untuk kernel SVM (jika ya, mengapa orang menggunakan Quadratic Programming)?

21

Mengapa orang menggunakan teknik Pemrograman Quadratic (seperti SMO) ketika berhadapan dengan SVM kernel? Apa yang salah dengan Keturunan Gradien? Apakah tidak mungkin digunakan dengan kernel atau itu terlalu lambat (dan mengapa?).

Berikut adalah konteks yang lebih sedikit: mencoba memahami SVM sedikit lebih baik, saya menggunakan Gradient Descent untuk melatih classifier SVM linier menggunakan fungsi biaya berikut:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Saya menggunakan notasi berikut:

$\mathbf{w}$ adalah bobot fitur model dan adalah parameter biasnya. $b$
$\mathbf{x}^{(i)}$ adalah vektor fitur contoh pelatihan . $i^\text{th}$
$y^{(i)}$ adalah kelas target (-1 atau 1) untuk instance . $i^\text{th}$
$m$ adalah jumlah instance pelatihan.
$C$ adalah hiperparameter regularisasi.

Saya mendapatkan vektor gradien (sub) (berkaitan dengan dan ) dari persamaan ini, dan Gradient Descent bekerja dengan baik. $\mathbf{w}$ $b$

Sekarang saya ingin mengatasi masalah non-linear. Dapatkah saya mengganti semua produk dot dengan dalam fungsi biaya, di mana adalah fungsi kernel (misalnya Gaussian RBF, ), lalu gunakan kalkulus untuk menurunkan a (sub) gradien vektor dan teruskan dengan Gradient Descent? $\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

Jika terlalu lambat, mengapa begitu? Apakah fungsi biaya tidak cembung? Atau apakah itu karena perubahan gradien terlalu cepat (itu bukan Lipschitz kontinu) sehingga algoritme terus melompat melintasi lembah selama penurunan, sehingga konvergen sangat lambat? Tetapi meskipun begitu, bagaimana bisa lebih buruk daripada kompleksitas waktu Pemrograman Quadratic, yaitu $O({n_\text{samples}}^2 \times n_\text{features})$ ? Jika itu masalah minimum lokal, tidak bisakah Stochastic GD dengan simulasi anil mengatasi mereka?

svm kernel-trick gradient-descent

— MiniQuark
sumber

6

Set sehingga dan , dengan , di mana adalah pemetaan dari matriks input asli , . Ini memungkinkan seseorang untuk menyelesaikan SVM melalui formulasi primal. Menggunakan notasi Anda untuk kerugian: $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

$\mathbf{K}$ adalah matriks , dan adalah matriks . Tidak ada yang tak terbatas. $m \times m$ $\mathbf{u}$ $m \times 1$

Memang, dual biasanya lebih cepat untuk diselesaikan, tetapi primal memiliki kelebihannya juga, seperti solusi perkiraan (yang tidak dijamin dalam formulasi ganda).

Sekarang, mengapa dual jauh lebih menonjol adalah tidak jelas sama sekali: [1]

Alasan historis yang sebagian besar penelitian dalam dekade terakhir telah tentang optimasi ganda tidak jelas . Kami percaya bahwa itu karena SVM pertama kali diperkenalkan dalam formulasi hard margin mereka [Boser et al., 1992], di mana optimasi ganda (karena kendala) tampaknya lebih alami. Secara umum, bagaimanapun, SVM margin lunak harus lebih disukai, bahkan jika data pelatihan dapat dipisahkan: batas keputusan lebih kuat karena lebih banyak poin pelatihan diperhitungkan [Chapelle et al., 2000]

Chapelle (2007) berpendapat kompleksitas waktu dari optimasi primal dan dual adalah , yang terburuk adalah , tetapi mereka menganalisis kerugian engsel kuadratik dan perkiraan, jadi bukan kerugian engsel yang tepat, karena tidak dapat dibedakan untuk digunakan dengan metode Newton. $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Chapelle, O. (2007). Pelatihan mesin vektor dukungan di awal. Komputasi saraf, 19 (5), 1155-1178.}

— Pembakar
sumber

1

+1 Bisakah Anda memperluas kompleksitas waktu juga

— seanv507

@ seanv507 terima kasih, memang saya seharusnya mengatasinya, saya akan segera memperbarui jawaban ini.

— Firebug

4

Jika kami menerapkan transformasi ke semua vektor bobot input ( ), kami mendapatkan fungsi biaya berikut: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Trik kernel menggantikan oleh . Karena vektor bobot adalah tidak berubah, trik kernel tidak dapat diterapkan dengan biaya fungsi di atas . $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

Fungsi biaya di atas sesuai dengan bentuk dasar dari tujuan SVM:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

tunduk pada dan untuk $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

The Bentuk ganda adalah:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

tunduk pada dan untuk $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

di mana adalah vektor penuh 1s dan adalah matriks dengan elemen . $\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

Sekarang kita dapat menggunakan trik kernel dengan menghitung seperti: $Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

Jadi trik kernel hanya dapat digunakan pada bentuk ganda dari masalah SVM (ditambah beberapa algoritma lain seperti regresi logistik).

Sekarang Anda dapat menggunakan pustaka Pemrograman Kuadratik yang tidak tersedia untuk menyelesaikan masalah ini, atau menggunakan pengganda Lagrangian untuk mendapatkan fungsi yang tidak dibatasi (fungsi biaya ganda), kemudian mencari minimum menggunakan Gradient Descent atau teknik pengoptimalan lainnya. Salah satu pendekatan yang paling efisien tampaknya adalah algoritma SMO yang diterapkan oleh libsvmperpustakaan (untuk kernel SVM).

— MiniQuark
sumber

1

Saya tidak yakin mengapa Anda menandai jawaban Anda Wiki Komunitas. Ini sepertinya jawaban yang benar-benar valid untuk pertanyaan Anda.

— Sycorax berkata Reinstate Monica

Terima kasih @GeneralAbrial. Saya menandai jawaban saya sebagai Komunitas Wiki untuk menghindari kecurigaan bahwa saya tahu jawabannya sebelum mengajukan pertanyaan.

— MiniQuark

1

Anda harus selalu melakukan apa yang Anda anggap benar, tetapi bertanya dan menjawab pertanyaan Anda sendiri sangatlah halal.

— Sycorax berkata Reinstate Monica

Tunggu, tidak bisakah Anda mengubah vektor bobot ke sehingga dan , dengan , lalu mengoptimalkan bobot sampel ?

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$

u

$\mathbf u$

— Firebug

2

Saya mungkin salah, tapi saya tidak melihat bagaimana kita bisa mengganti produk dot dengan kernel tanpa mengubahnya menjadi masalah ganda.

Kernel memetakan input secara implisit ke beberapa ruang fitur di mana menjadi , fungsi loss kemudian menjadi Jika kernel Gaussian diterapkan, akan memiliki ifinite dimensi, begitu juga . $x$ $\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$ $\mathbf{w}$

Tampaknya sulit untuk mengoptimalkan vektor dimensi tak terbatas menggunakan gradient descent secara langsung.

Perbarui
jawaban Firebug memberi cara untuk mengganti produk dot dengan kernel dalam formulasi primal.

— dontloo
sumber