Penggunaan parameter Gamma dengan mesin vektor dukungan

9

Saat menggunakan libsvm, parameter adalah parameter untuk fungsi kernel. Nilai standarnya adalah setup sebagai $\gamma$

γ = \frac{1}{number of features.}

$\gamma = \frac{1}{\text{number of features.}}$

Apakah ada panduan teoretis untuk mengatur parameter ini selain metode yang ada, misalnya, pencarian kisi?

— pengguna3269
sumber

8

Saya akan menyarankan panduan teoretis berikut. Saat Anda menggunakan kernel Gaussian RBF, permukaan pemisah Anda akan didasarkan pada kombinasi permukaan berbentuk lonceng yang berpusat di masing-masing vektor dukungan. Lebar setiap permukaan berbentuk lonceng akan berbanding terbalik dengan . Jika lebar ini lebih kecil dari jarak minimum pasangan untuk data Anda, Anda pada dasarnya memiliki overfitting. Jika lebar ini lebih besar dari jarak maksimum pasangan untuk data Anda, semua poin Anda jatuh ke dalam satu kelas dan Anda tidak memiliki kinerja yang baik juga. Jadi lebar optimal harus berada di antara dua ekstrem ini. $\gamma$

— Leo
sumber

pair-wise distance for your data= jarak Euclidean sederhana setelah penskalaan?

— ihadanny

5

Tidak, ini pada dasarnya bergantung pada data. Pencarian grid (lebih dari parameter log yang diubah log) adalah metode yang sangat baik jika Anda hanya memiliki sedikit parameter hiper untuk disetel, tetapi jangan membuat resolusi grid terlalu halus atau Anda cenderung terlalu menyesuaikan tala. kriteria. Untuk masalah dengan sejumlah besar parameter kernel, saya menemukan metode simpel Nelder-Mead bekerja dengan baik.

— Dikran Marsupial
sumber

Dikran, terima kasih atas jawabannya. Bisakah Anda menguraikan lebih lanjut tentang "ketergantungan data"? Apa hubungan antara r dan satu set data? Atau dengan kata lain, diberikan satu set data, apakah ada cara untuk mendefinisikan r berdasarkan data ini?

— user3269

1

Pada dasarnya "data dependen" hanya berarti pengaturan terbaik akan bervariasi sesuai dengan struktur data tertentu dan umumnya tidak ada cara yang lebih baik untuk mengatur mereka daripada meminimalkan kesalahan validasi silang. Metode kernel benar-benar dapat dilakukan dengan analisis yang lebih teoritis tentang bagaimana cara mempelajari kernel, tetapi sayangnya ini secara matematis sangat sulit.

— Dikran Marsupial