Pertanyaan yang diberi tag «optimization»

Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Dalam memilih parameter regularisasi lambda di Ridge atau Lasso, metode yang disarankan adalah mencoba nilai-nilai lambda yang berbeda, mengukur kesalahan dalam Set Validasi dan akhirnya memilih nilai lambda yang mengembalikan kesalahan terendah. Ini tidak jelas bagi saya jika fungsi f (lambda) = error adalah Convex. Mungkinkah seperti ini? Yaitu dapat …

11 cross-validation  error  regularization  validation  optimization 

Ini adalah topik yang sulit bagi saya untuk Google karena memiliki kata optimasi dan stokastik dalam pencarian hampir secara otomatis default untuk mencari optimasi stokastik. Tetapi apa yang saya benar-benar ingin tahu adalah metode apa yang ada untuk optimasi model komputer ketika output model komputer stochastic, yaitu, tidak deterministik? Misalnya, …

11 optimization  stochastic-processes 

Saya sedang mencari metode binning optimal (diskritisasi) dari variabel kontinu sehubungan dengan respon yang diberikan (target) variabel biner dan dengan jumlah interval maksimum sebagai parameter. contoh: Saya memiliki satu set pengamatan orang dengan variabel "tinggi" (angka kontinu) dan "has_back_pains" (biner). Saya ingin melakukan diskritisasi tinggi menjadi 3 interval (kelompok) paling …

11 r  dataset  optimization  discrete-data  binning 

Penata rambut saya, Stacey, selalu menunjukkan wajah yang bahagia, tetapi sering merasa stres mengatur waktu. Hari ini Stacey sudah terlambat karena pengangkatan saya dan sangat menyesal. Saat memotong rambut saya, saya bertanya-tanya: Berapa lama janji standarnya? (jika preferensi pelanggan untuk angka bulat bersih dapat diabaikan, untuk sesaat). Sesuatu yang perlu …

11 normal-distribution  optimization  queueing  decision-theory 

Saya mencoba menerapkan algoritma Nelder-Mead untuk mengoptimalkan fungsi. The wikipedia Halaman tentang Nelder-Mead adalah mengejutkan jelas tentang seluruh algoritma, kecuali untuk kriteria penghentian. Di sana dikatakan dengan sedih: Periksa konvergensi [klarifikasi diperlukan] . Saya mencoba dan menguji beberapa kriteria sendiri: Berhenti jika mana kecil dan di mana adalah th titik …

11 optimization  algorithms 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Saya telah menemukan slide ini (slide # 16 & # 17) di salah satu kursus online. Instruktur berusaha menjelaskan bagaimana Estimasi Posterior Maksimum (MAP) sebenarnya adalah solusi , di mana adalah parameter yang benar.θ ∗L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} Bisakah seseorang tolong jelaskan bagaimana hal ini terjadi? Sunting: Menambahkan slide, …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange, membuat masalah untuk dipecahkan minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 Apa hubungan antara λλ\lambda …

10 optimization  lasso  regularization  lagrange-multipliers 

Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali Anda merasa sebaliknya.X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nnnddd …

10 optimization  lasso  regularization  time-complexity 

Saya mengikuti tutorial mnist Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Tutorial menggunakan tf.train.Optimizer.minimize(khusus tf.train.GradientDescentOptimizer). Saya tidak melihat argumen yang dilewatkan di mana pun untuk menentukan gradien. Apakah Tensor flow menggunakan diferensiasi numerik secara default? Apakah ada cara untuk lulus dalam gradien seperti yang Anda bisa scipy.optimize.minimize?

10 python  optimization  tensorflow 

Sistem pemeringkatan Elo menggunakan algoritma minimisasi gradient descent dari fungsi kehilangan lintas-entropi antara probabilitas yang diharapkan dan yang diamati dari suatu hasil dalam perbandingan berpasangan. Kita dapat menulis fungsi kerugian umum sebagai E=−∑n,ipiLog(qi)E=−∑n,ipiLog(qi) E=-\sum_{n,i} p_i Log (q_i) di mana jumlah dilakukan atas semua hasil iii dan semua lawan nnn . …

10 regression  optimization  rating 

Pada dasarnya saya ingin mengubah ukuran kesamaan menjadi bobot yang digunakan sebagai prediktor. Kesamaannya adalah pada [0,1], dan saya akan membatasi bobot juga pada [0,1]. Saya ingin fungsi paramteris yang melakukan pemetaan ini yang kemungkinan saya akan optimalkan menggunakan gradient descent. Syaratnya adalah bahwa 0 peta ke 0, 1 peta …

10 optimization  curve-fitting 

Saya mencoba menyesuaikan model waktu-diskrit dalam R, tapi saya tidak yakin bagaimana melakukannya. Saya telah membaca bahwa Anda dapat mengatur variabel dependen dalam baris yang berbeda, satu untuk setiap pengamatan waktu, dan menggunakan glmfungsi dengan logit atau tautan cloglog. Dalam hal ini, saya memiliki tiga kolom: ID, Event(1 atau 0, …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Saya mencoba memahami optimasi gradient descent dalam algoritma ML (pembelajaran mesin). Saya mengerti bahwa ada fungsi biaya — di mana tujuannya adalah untuk meminimalkan kesalahan . Dalam skenario di mana bobot sedang dioptimalkan untuk memberikan kesalahan minimum, dan turunan parsial digunakan, apakah itu mengubah dan di setiap langkah atau merupakan …

9 optimization  gradient-descent