Apa namanya: hyperparameters

19

Jadi dalam distribusi normal, kami memiliki dua parameter: mean dan variance . Dalam buku Pattern Recognition dan Machine Learning , tiba-tiba muncul hyperparameter dalam istilah regularisasi fungsi kesalahan. $\mu$ $\sigma^2$ $\lambda$

Apa itu hiperparameter? Mengapa mereka dinamai demikian? Dan bagaimana mereka secara intuitif berbeda dari parameter pada umumnya?

— cgo
sumber

3

Saya pribadi hanya berpikir itu adalah epidemi orang yang akan hiper. Hiper ini, hiper itu. Hypersphere - ini sebuah bola, d @ manit, berhenti menjadi terlalu hiper hanya karena dimensi melebihi 3. Hyperparameter - itu adalah parameter, d @ mnit, berhenti menjadi hiper hanya karena Anda memiliki beberapa di antaranya, dan entah bagaimana Anda sepertinya berpikir Anda perlu menunjukkan tingkat hierarki atau sesuatu. Dalam hal apa pun, jika Anda memiliki masalah pengoptimalan, jelaskan parameter apa yang sedang dioptimalkan, dan kendala apa pun (jika pengoptimalan multi-level, jelaskan). Saya harap saya tidak terlalu bersemangat dalam komentar ini.

— Mark L. Stone

2

Saya selalu menggunakan "hypersphere" yang berarti "co-dimensional one sphere", jadi setidaknya dalam matematika, sepertinya berarti sesuatu. Atau setidaknya ketika saya berbicara tentang matematika. Saya akan tenang sekarang.

— Matthew Drury

18

Istilah hiperparameter cukup kabur. Saya akan menggunakannya untuk merujuk ke parameter yang ada di level hierarki yang lebih tinggi daripada parameter lainnya. Sebagai contoh, pertimbangkan model regresi dengan varian yang diketahui (1 dalam kasus ini)

y \sim N (X β, I)

$y \sim N(X\beta,I)$

dan kemudian parameter sebelumnya, misalnya

β \sim N (0, λ I)

$\beta \sim N(0,\lambda I)$

Di sini menentukan distribusi dan menentukan distribusi untuk . Ketika saya hanya ingin merujuk ke saya dapat menyebutnya parameter dan ketika saya ingin hanya merujuk ke , saya dapat menyebutnya sebagai hyperparameter. $\lambda$ $\beta$ $\beta$ $y$ $\beta$ $\lambda$

Penamaan menjadi lebih rumit ketika parameter muncul di beberapa level atau ketika ada lebih banyak level hierarkis (dan Anda tidak ingin menggunakan istilah hyperhyperparameters). Cara terbaik adalah jika penulis menentukan dengan tepat apa yang dimaksud ketika mereka menggunakan istilah hyperparameter atau parameter dalam hal ini.

— jaradniemi
sumber

Ini penjelasan yang bagus. Sekarang saya membayangkannya sebagai 'komposisi fungsi-ish'. Untuk menerjemahkan apa yang Anda masukkan ke dalam simbol-simbol,

adalah Biasanya didistribusikan dengan mean

, tapi

pada gilirannya, Biasanya didistribusikan begitu dan begitu. Terima kasih

y

$y$

X β

$X\beta$

b e t a

$beta$

— cgo

10

Hyperparameter hanyalah parameter yang berdampak, sepenuhnya atau sebagian, parameter lainnya. Mereka tidak secara langsung menyelesaikan masalah pengoptimalan yang Anda hadapi, tetapi lebih mengoptimalkan parameter yang dapat menyelesaikan masalah (karena itu hiper , karena mereka bukan bagian dari masalah pengoptimalan, melainkan "addons"). Untuk apa yang saya lihat, tapi saya tidak punya referensi, hubungan ini searah (hyperparameter tidak dapat dipengaruhi oleh parameter yang memiliki pengaruh, maka juga hiper ). Mereka biasanya diperkenalkan dalam skema regularisasi atau meta-optimasi.

Sebagai contoh, parameter Anda dapat dengan bebas memengaruhi dan untuk menyesuaikan biaya regularisasi (tetapi dan tidak memiliki pengaruh pada ). Jadi, adalah hiperparameter untuk dan . Jika Anda memiliki parameter tambahan yang memengaruhi , itu akan menjadi hyperparameter untuk , dan hyperhyperparameter untuk dan (tapi saya belum pernah melihat nomenclatura ini, tapi saya tidak akan merasa itu salah jika saya melihatnya) . $\lambda$ $\mu$ $\sigma$ $\mu$ $\sigma$ $\lambda$ $\lambda$ $\mu$ $\sigma$ $\tau$ $\lambda$ $\lambda$ $\mu$ $\sigma$

Saya menemukan konsep hyperparameter sangat berguna untuk validasi silang, karena mengingatkan Anda tentang hierarki parameter, sementara juga mengingatkan Anda bahwa jika Anda masih memodifikasi (hyper-) parameter, Anda masih validasi silang dan tidak generalisasi sehingga Anda harus tetap hati-hati dengan kesimpulan Anda (untuk menghindari pemikiran melingkar).

— gaborous
sumber

7

Penjelasan lain agak kabur; inilah penjelasan yang lebih konkret yang harus menjelaskannya.

Hyperparameters adalah parameter model saja , bukan proses fisik yang dimodelkan. Anda memperkenalkan mereka "secara artifisial" untuk membuat model Anda "berfungsi" di hadapan data hingga dan / atau waktu komputasi terbatas . Jika Anda memiliki kekuatan tak terbatas untuk mengukur atau menghitung apa pun, hiperparameter tidak lagi ada dalam model Anda, karena mereka tidak akan menggambarkan aspek fisik dari sistem yang sebenarnya.

Parameter reguler, di sisi lain, adalah parameter yang menggambarkan sistem fisik, dan bukan sekadar memodelkan artefak.

— Mehrdad
sumber

6

Ini bukan istilah yang didefinisikan sebelumnya, jadi saya akan melanjutkan dan memberikan definisi lain yang tampaknya konsisten dengan penggunaan umum.

Hyperparameter adalah kuantitas yang diperkirakan dalam algoritma pembelajaran mesin yang tidak berpartisipasi dalam bentuk fungsional dari fungsi prediksi akhir.

Biarkan saya melepasnya dengan contoh, ridge regression. Dalam regresi ridge kami menyelesaikan masalah pengoptimalan berikut:

β^{*} (λ) = {Argmin}_{β} ((y - X β)^{t} (y - X β) + λ β^{t} β)

$\beta^*(\lambda) = \text{argmin}_{\beta} \left( (y - X\beta)^t (y - X\beta) + \lambda \beta^t \beta \right)$

β^{*} = {Argmin}_{λ} (y^{'} - X^{'} β (λ))^{t} (y^{'} - X^{'} β (λ))

$\beta^* = \text{argmin}_{\lambda} (y' - X'\beta(\lambda))^t (y' - X'\beta(\lambda))$

$X, y$ $X', y'$

f (X) = X β^{*}

$f(X) = X \beta^*$

$\lambda$ $\beta$ $\lambda$

— Matthew Drury
sumber

3

Seperti yang persis ditunjukkan oleh @jaradniemi, salah satu penggunaan istilah hyperparameter berasal dari pemodelan hierarkis atau multilevel, di mana Anda memiliki kaskade model statistik, satu dibangun di atas / di bawah yang lain, biasanya menggunakan pernyataan probabilitas bersyarat.

Tetapi terminologi yang sama muncul dalam konteks lain dengan makna yang berbeda pula. Sebagai contoh, saya telah melihat istilah hyperparameter digunakan untuk merujuk pada parameter simulasi (panjang berjalan, jumlah replikasi independen, jumlah partikel yang saling berinteraksi dalam setiap replikasi, dll.) Dari model stokastik, yang tidak dihasilkan dari multilevel pemodelan.

— Marcelo Ventura
sumber

1

FWIW Saya biasanya merujuk pada panjang lari, jumlah partikel yang berinteraksi, dll. Sebagai parameter tuning.

— jaradniemi

Saya setuju. Bagi saya, ini merupakan pilihan yang lebih memadai daripada hyperparameter. Meskipun demikian, bagi orang lain, di bidang pengetahuan lain, itu masih terdengar cukup masuk akal.

— Marcelo Ventura