Pertanyaan yang diberi tag «bayesian-optimization»

Keturunan gradien dan banyak metode lain berguna untuk menemukan minimum lokal dalam fungsi biaya. Mereka dapat menjadi efisien ketika fungsi biaya dapat dievaluasi dengan cepat di setiap titik, baik secara numerik atau analitik. Saya memiliki apa yang bagi saya merupakan situasi yang tidak biasa. Setiap evaluasi fungsi biaya saya mahal. …

59 gradient-descent  optimization  bayesian-optimization 

Ada penelitian kontemporer substansial tentang Bayesian Optimization (1) untuk menyetel hiperparameter ML. Motivasi mengemudi di sini adalah bahwa jumlah minimal titik data diperlukan untuk membuat pilihan berdasarkan informasi tentang poin apa yang layak untuk dicoba (panggilan fungsi obyektif itu mahal, sehingga membuat lebih sedikit lebih baik) karena melatih model intensif …

18 hyperparameter  bayesian-optimization  optunity 

Latar belakang dan masalah Saya menggunakan Proses Gaussian (GP) untuk regresi dan optimasi Bayesian berikutnya (BO). Untuk regresi saya menggunakan paket gpml untuk MATLAB dengan beberapa modifikasi custom-made, tetapi masalahnya umum. Adalah fakta yang diketahui bahwa ketika dua input pelatihan terlalu dekat dalam ruang input, matriks kovarians dapat menjadi tidak-pasti …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini: https://github.com/fmfn/BayesianOptimization Apakah optimasi bayesian dari hiperparameter Anda memiliki batasan atau kelemahan utama atas teknik seperti pencarian …

9 machine-learning  optimization  hyperparameter  bayesian-optimization 

Fungsi kotak hitam f:Rn→ Rf:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, yang dievaluasi secara tunduk pada noise Gaussian, yaitu, , dapat diminimalkan menggunakan optimasi Bayesian di mana Proses Gaussian digunakan sebagai model fungsi berisik.f( x ) + N( μ ( x ) , σ( x)2)f(x)+N(μ(x),σ(x)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2) Bagaimana optimasi Bayesian dapat digunakan untuk …

8 bayesian  optimization  bayesian-optimization 

Kedua proses tampaknya digunakan untuk memperkirakan nilai maksimum dari fungsi yang tidak diketahui, dan keduanya jelas memiliki cara yang berbeda untuk melakukannya. Namun dalam praktiknya, apakah kedua metode itu pada dasarnya dapat dipertukarkan? Di mana saya ingin menggunakan salah satunya? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pertanyaan Serupa Pengoptimalan Bayesian atau gradient descent?

8 optimization  maximum  bayesian-optimization 

Saya memberikan Bayesian Optimization, mengikuti Snoek, Larochelle, dan Adams [ http://arxiv.org/pdf/1206.2944.pdf] , menggunakan GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Saya telah mengimplementasikan fungsi akuisisi Peningkatan yang Diharapkan yang dijelaskan pada halaman 3, dan saya berasumsi bahwa saya benar bahwa untuk memutuskan ke mana harus mencari query selanjutnya, saya harus …

8 gaussian-process  optimization  bayesian-optimization