Rentang pencarian mana untuk menentukan parameter optimal C dan gamma SVM?

32

Saya menggunakan SVM untuk klasifikasi dan saya mencoba menentukan parameter optimal untuk kernel linear dan RBF. Untuk kernel linear saya menggunakan pemilihan parameter yang divalidasi silang untuk menentukan C dan untuk kernel RBF saya menggunakan pencarian grid untuk menentukan C dan gamma.

Saya memiliki 20 fitur (angka) dan 70 contoh pelatihan yang harus diklasifikasikan ke dalam 7 kelas.

Rentang pencarian mana yang harus saya gunakan untuk menentukan nilai optimal untuk parameter C dan gamma?

classification svm kernel-trick

— Kywia
sumber

31

Lihat Panduan praktis untuk Klasifikasi SVM untuk beberapa petunjuk, terutama halaman 5.

Kami merekomendasikan "pencarian grid" pada dan menggunakan cross-validation. Berbagai pasangan nilai dicoba dan yang dipilih dengan akurasi cross-validasi terbaik. Kami menemukan bahwa mencoba sekuens yang tumbuh secara eksponensial dari dan adalah metode praktis untuk mengidentifikasi parameter yang baik (misalnya, $C$ $\gamma$ $(C,\gamma)$ $C$ $\gamma$ ). $C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Ingatlah untuk menormalkan data Anda terlebih dahulu dan jika Anda bisa, kumpulkan lebih banyak data karena dari tampilannya, masalah Anda mungkin sangat tidak ditentukan.

— ciri
sumber

Haruskah pengujian sejawat dilakukan secara manual? tidak ada perpustakaan untuk mencapainya?

— x-rw

11

Lihat bagian 2.3.2 dari makalah ini oleh Chapelle dan Zien. Mereka memiliki heuristik yang bagus untuk memilih rentang pencarian yang baik untuk dari kernel RBF dan untuk SVM. Saya mengutip $\sigma$ $C$

Untuk menentukan nilai bagus dari parameter bebas yang tersisa (mis. Oleh CV), penting untuk mencari pada skala yang tepat. Karena itu kami memperbaiki nilai default untuk dan yang memiliki urutan besarnya yang benar. Dalam masalah-kelas kita menggunakan kuantil dari jarak berpasangan dari semua data-poin sebagai default untuk . Default untuk adalah invers dari varians empiris dalam ruang fitur, yang dapat dihitung dengan $C$ $\sigma$ $c$ $1/c$ $D^\rho_{ij}$ $\sigma$ $C$ $s^2$ darikernel matriks. $s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$ $n\times n$ $K$

Setelah itu, mereka menggunakan kelipatan (misalnya untuk ) dari nilai default sebagai rentang pencarian dalam kotak-pencarian menggunakan cross-validasi. Itu selalu berhasil dengan baik bagi saya. $2^k$ $k\in \{-2,...,2\}$

Tentu saja, kami @ciri berkata, menormalkan data dll selalu merupakan ide yang baik.

— Fabee
sumber

Saya pikir ada beberapa formulasi kernel rbf yang sama. Satu dengan gamma dan lainnya dengan sigma, yaitu gamma = 1 / 2sigma ^ 2. Apakah gamma pada heuristik di atas sesuai dengan gamma, sigma atau sigma ^ 2? Saya telah menemukan deskripsi lain dari heurstic yang sama yaitu untuk gamma.

— permesinan

\frac{1}{2 σ^{2}}

$\frac{1}{2\sigma^2}$

@fabee Haruskah pengujian rekan dilakukan secara manual? tidak ada perpustakaan untuk mencapainya?

— x-rw