Pertanyaan yang diberi tag «optimization»

Saya mencoba untuk memahami apa perbedaan antara anil simulasi dan menjalankan beberapa algoritma mendaki bukit serakah. Pada pemahaman saya, algoritma serakah akan mendorong skor ke maksimum lokal, tetapi jika kita mulai dengan beberapa konfigurasi acak dan menerapkan serakah untuk semuanya, kita akan memiliki beberapa maksimum lokal. Lalu kami memilih maks …

8 machine-learning  optimization  algorithms 

Secara umum, jika kita memiliki dataset besar, kita dapat membaginya menjadi (1) pelatihan, (2) validasi, dan (3) tes. Kami menggunakan validasi untuk mengidentifikasi hyperparameter terbaik dalam validasi silang (misalnya, C dalam SVM) dan kemudian kami melatih model menggunakan hyperparameter terbaik dengan set pelatihan dan menerapkan model yang terlatih untuk menguji …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Kedua proses tampaknya digunakan untuk memperkirakan nilai maksimum dari fungsi yang tidak diketahui, dan keduanya jelas memiliki cara yang berbeda untuk melakukannya. Namun dalam praktiknya, apakah kedua metode itu pada dasarnya dapat dipertukarkan? Di mana saya ingin menggunakan salah satunya? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pertanyaan Serupa Pengoptimalan Bayesian atau gradient descent?

8 optimization  maximum  bayesian-optimization 

Saya memberikan Bayesian Optimization, mengikuti Snoek, Larochelle, dan Adams [ http://arxiv.org/pdf/1206.2944.pdf] , menggunakan GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Saya telah mengimplementasikan fungsi akuisisi Peningkatan yang Diharapkan yang dijelaskan pada halaman 3, dan saya berasumsi bahwa saya benar bahwa untuk memutuskan ke mana harus mencari query selanjutnya, saya harus …

8 gaussian-process  optimization  bayesian-optimization 

Saya menjalankan beberapa optimasi dengan implementasi BFGS yang optimal. Fungsi objektif sebenarnya adalah algoritma komputasi, bukan hanya matematika. Saya menemukan ketika saya menambahkan penalti L1, segalanya melambat sedikit. Kenapa ini bisa terjadi? Apakah ada sesuatu tentang L1 yang memperlambat segalanya? Lalu bagaimana glmnetimplementasi LASSO begitu cepat? Pencarian Google cepat menghasilkan …

8 r  optimization  lasso 

Saya mencoba memahami bagaimana regularisasi bekerja dalam hal proyeksi ke a l∗l∗l_* bola, dan proyeksi Euclidean ke simpleks. Saya tidak yakin saya mengerti apa yang kami maksud ketika kami memproyeksikan vektor bobot ke l1l1l_1 atau l2l2l_2 bola. Saya bisa mengerti konsep l1l1l_1program regularisasi, seperti dalam, kita pergi melalui setiap elemen …

8 optimization  regularization  projection 

Saya mengerti di mana langkah E terjadi dalam algoritma (seperti yang dijelaskan dalam bagian matematika di bawah). Dalam pikiran saya, kecerdikan kunci dari algoritma adalah penggunaan ketidaksetaraan Jensen untuk membuat batas bawah pada kemungkinan log. Dalam hal itu, mengambil Expectationhanya dilakukan untuk merumuskan kembali kemungkinan log agar sesuai dengan ketidaksetaraan …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler 

Ada banyak aturan untuk memilih lebar nampan optimal dalam histogram 1D (lihat misalnya ) Saya mencari aturan yang menerapkan pemilihan lebar bin sama optimal pada histogram dua dimensi . Apakah ada aturan seperti itu? Mungkin salah satu aturan terkenal untuk histogram 1D dapat dengan mudah diadaptasi, jika demikian, dapatkah Anda …

8 optimization  histogram 

Saya baru saja mulai menggunakan paket autoencoder di R. Input ke autoencode()fungsi termasuk lambda, beta, rho dan epsilon. Apa batasan untuk nilai-nilai ini? Apakah mereka berbeda untuk setiap fungsi aktivasi? Apakah parameter ini disebut "hyperparameters"? Dengan asumsi autoencoder yang jarang, apakah rho = .01 baik untuk fungsi aktivasi logistik dan …

8 neural-networks  optimization  deep-learning  deep-belief-networks  autoencoders 

Saya telah bermain-main dengan regresi logistik dengan berbagai algoritma optimasi batch (gradien konjugat, newton-raphson, dan berbagai metode quasinewton). Satu hal yang saya perhatikan adalah bahwa kadang-kadang, menambahkan lebih banyak data ke model sebenarnya dapat membuat pelatihan model membutuhkan waktu lebih sedikit. Setiap iterasi membutuhkan melihat lebih banyak titik data, tetapi …

8 logistic  references  optimization 

Proyek saya saat ini mungkin mengharuskan saya untuk membuat model untuk memprediksi perilaku sekelompok orang tertentu. set data pelatihan hanya berisi 6 variabel (id hanya untuk tujuan identifikasi): id, age, income, gender, job category, monthly spend di mana monthly spendadalah variabel respon. Tetapi dataset pelatihan berisi sekitar 3 juta baris, …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

http://cran.r-project.org/web/packages/quadprog/quadprog.pdf Paket R quadprogtampaknya dapat menyelesaikan masalah pemrograman kuadrat hanya ketika matriks pasti positif.DDD Namun, ada kasus ketika matriks tidak pasti positif. sepertiDDD min(x2+y2−6xy)subject tox+y3x+yx,y≤≤≥1,1.5,0.min(x2+y2−6xy)subject tox+y≤1,3x+y≤1.5,x,y≥0.\begin{eqnarray} \min(x^2 + y^2 - 6xy) \\ \text{subject to}\quad\quad x + y &\leq& 1,\\ 3x + y &\leq& 1.5,\\ x,y &\geq& 0. \end{eqnarray} Bagaimana saya …

8 r  optimization 

Saya sedang mengerjakan proyek pembelajaran mesin di mana saya mencoba menyesuaikan kurva pada data. Sayangnya tanggal memiliki vektor fitur yang agak tinggi. Jadi, saya tidak bisa benar-benar memplotnya pada ruang 2D atau 3D untuk menebak bagaimana bentuk data itu. Jadi, selain hit dan trial, apakah ada cara matematis untuk menemukan …

8 machine-learning  mathematical-statistics  optimization 

Saya mencari sumber daya teoretis (buku, tutorial, dll.) Untuk belajar tentang membuat kesimpulan statistik suara yang diberikan (banyak) data konversi situs web multivarian. Saya mengejar matematika yang terlibat, dan tidak dapat menemukan hal-hal non-pemasaran yang bagus di web. Jenis pertanyaan yang ingin saya jawab: seberapa besar pengaruh variabel tunggal (misalnya …

8 multivariate-analysis  references  optimization  ab-test  web