Tuning Hyperparameter dalam Regresi Proses Gaussian

Saya mencoba untuk menyetel hyperparameter dari algoritma regresi proses gaussian yang telah saya terapkan. Saya hanya ingin memaksimalkan kemungkinan marginal log yang diberikan oleh rumus mana adalah matriks kovarians dengan elemen mana dan dan adalah hyperparameters.

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

turunan sebagian dari parameter kemungkinan log marginal diberikan oleh

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

Sebagai entri dari $K$ bergantung pada parameter, begitu derivatif dan kebalikan dari $K$ . Ini berarti, ketika optimizer berbasis gradien digunakan, mengevaluasi gradien pada titik tertentu (nilai parameter) akan memerlukan perhitungan ulang dari matriks kovarians. Dalam aplikasi saya, ini tidak layak karena menghitung matriks kovarians dari awal dan menghitung kebalikannya dalam setiap iterasi kenaikan gradien terlalu mahal. Pertanyaan saya adalah apa pilihan saya untuk menemukan kombinasi yang cukup bagus dari ketiga parameter ini? dan saya juga tidak tahu parameter mana yang harus dioptimalkan terlebih dahulu dan saya akan menghargai petunjuk tentang masalah ini juga.

— bfaskiplar
sumber

Saya sudah sukses menggunakan HMC untuk sampel parameter hiper GP untuk set data berukuran sedang.

— Sycorax berkata Reinstate Monica

Hai @ Scorax, bisakah Anda memberi tahu kami bagaimana Anda menggunakan teknik ini untuk mengatasi masalah ini? Saya memiliki masalah yang sama seperti yang diminta OP dan telah berpikir untuk menggunakan MCMC untuk menyelesaikannya tetapi belum tahu bagaimana melakukannya.

— Willian Fuks

Saya baru saja membuat kode dokter di Stan. Hyperparameters GP dinyatakan sebagai parameter model dan disimpulkan sesuai. Ini menghasilkan satu set prediksi untuk setiap iterasi HMC. Gelman menggambarkan bagaimana semua ini bekerja di BDA3.

— Sycorax berkata Reinstate Monica

Anda benar bahwa Anda memerlukan perhitungan matriks kovarians baru pada setiap iterasi kenaikan gradien. Jadi jika perhitungan matriks tidak layak untuk pengaturan Anda, maka, saya pikir, Anda tidak dapat menggunakan optimasi kemungkinan marginal berbasis marginal.

Saran saya adalah menggunakan metode bebas-gradien untuk penyetelan hyperparameter, seperti pencarian kotak, pencarian acak, atau pencarian berbasis optimasi Bayesian . Metode-metode ini banyak digunakan untuk hyperparameters optimasi algoritma pembelajaran mesin lainnya misalnya SVM.

Saya sarankan pencarian grid untuk percobaan pertama Anda. Anda pada dasarnya membentuk tabel (kisi-kisi) dari kemungkinan hiperparameter, coba semuanya, dan cari kinerja validasi terbaik (atau kemungkinan marginal terbaik).

Pencarian grid akan menghasilkan set hiperparameter suboptimal, dan Anda harus menentukan sendiri grid (tip: buat grid dalam skala log) tetapi perhitungan jauh lebih sedikit diperlukan. (dan Anda tidak perlu gradien!)

Jika Anda tidak terbiasa dengan pencarian kisi, Anda dapat mencari Wikipedia: Hyperparameter Optimization - Pencarian Kisi

— Sangwoong Yoon
sumber