Pertanyaan yang diberi tag «optimization»

Jadi saya mencoba untuk belajar sendiri jaringan saraf (untuk aplikasi regresi, bukan mengklasifikasikan gambar kucing). Eksperimen pertama saya adalah melatih jaringan untuk mengimplementasikan filter FIR dan Discrete Fourier Transform (pelatihan pada sinyal "sebelum" dan "setelah"), karena keduanya adalah operasi linier yang dapat diimplementasikan oleh satu lapisan tanpa fungsi aktivasi. Keduanya …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Misalkan kita sedang melakukan contoh mainan pada gradient layak, meminimalkan fungsi kuadrat , menggunakan ukuran langkah tetap . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTA xxTSEBUAHxx^TAxα = 0,03α=0,03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]SEBUAH=[10,2;2,3]A=[10, 2; 2, 3] Jika …

9 r  machine-learning  optimization  gradient-descent 

Saya melatih jaringan saraf convolutional sederhana untuk regresi, di mana tugasnya adalah untuk memprediksi lokasi (x, y) kotak dalam gambar, misalnya: Output dari jaringan memiliki dua node, satu untuk x, dan satu untuk y. Sisa dari jaringan adalah jaringan saraf convolutional standar. Hilangnya adalah standar kuadrat kesalahan antara posisi kotak …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Misalkan kita ingin menghitung beberapa harapan: EYEX| Y[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Misalkan kita ingin memperkirakan ini menggunakan simulasi Monte Carlo. EYEX| Y[ f( X, Y) ] ≈ 1R S∑r = 1R∑s = 1Sf( xr , s, yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) TAPI kira itu mahal untuk menarik sampel dari kedua distribusi, …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Saya berpikir untuk menyelesaikan Lasso melalui metode subgradien vanilla. Tapi saya sudah membaca orang menyarankan untuk menggunakan gradien keturunan Proksimal. Adakah yang bisa menyoroti mengapa proksimal GD daripada metode subgradien vanilla digunakan untuk Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

Dalam buku teks ekonometrik saya (Introductory Econometrics) yang mencakup OLS, penulis menulis, "SSR harus jatuh ketika variabel penjelas lainnya ditambahkan." Kenapa sih?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Saya mencari paket untuk membantu saya memecahkan beberapa masalah optimasi kuadratik dan saya melihat setidaknya ada setengah lusin paket yang berbeda. Menurut halaman ini : QP (Quadratic programming, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Beberapa di antaranya (Rmosek dan cplexAPI) bergantung pada …

9 r  optimization 

Secara default ketika kami menggunakan glmfungsi dalam R, ia menggunakan metode iteratively reweighted least square (IWLS) untuk menemukan estimasi kemungkinan maksimum parameter. Sekarang saya punya dua pertanyaan. Apakah estimasi IWLS menjamin maksimum global dari fungsi kemungkinan? Berdasarkan slide terakhir dalam presentasi ini , saya pikir tidak! Saya hanya ingin memastikan …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Bagaimana saya bisa memperkirakan interval kepercayaan 95% menggunakan profil untuk parameter yang diestimasi dengan memaksimalkan fungsi log-likelihood menggunakan optim di R? Saya tahu saya dapat secara asimtotik memperkirakan matriks kovarians dengan membalik goni , tetapi saya khawatir bahwa data saya tidak memenuhi asumsi yang diperlukan agar metode ini valid. Saya …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Ini adalah pertanyaan yang agak umum (yaitu tidak harus spesifik untuk statistik), tetapi saya telah memperhatikan tren dalam pembelajaran mesin dan literatur statistik di mana penulis lebih suka mengikuti pendekatan berikut: Pendekatan 1 : Dapatkan solusi untuk masalah praktis dengan merumuskan fungsi biaya yang memungkinkan (misalnya dari sudut pandang komputasi) …

9 optimization  function 

Saya sedang mencari referensi yang solid (atau referensi) pada teknik optimasi numerik yang ditujukan untuk ahli statistik, yaitu, itu akan menerapkan metode ini untuk beberapa masalah inferensial standar (misalnya MAP / MLE dalam model umum). Hal-hal seperti gradient descent (lurus dan stokastik), EM dan spin-off / generalisasi, annealing simulasi, dll. …

9 estimation  references  optimization 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini: https://github.com/fmfn/BayesianOptimization Apakah optimasi bayesian dari hiperparameter Anda memiliki batasan atau kelemahan utama atas teknik seperti pencarian …

9 machine-learning  optimization  hyperparameter  bayesian-optimization 

Pertimbangkan respon y dan data matriks X . Misalkan saya membuat model formulir - y ~ g (X, )θθ\theta (g () bisa berupa fungsi X dan )θθ\theta Sekarang, untuk memperkirakan menggunakan metode Maximum Likelihood (ML), saya bisa melanjutkan dengan Conditional ML (dengan asumsi saya tahu bentuk kepadatan bersyarat f (y …

9 estimation  maximum-likelihood  optimization 

Fungsi kotak hitam f:Rn→ Rf:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, yang dievaluasi secara tunduk pada noise Gaussian, yaitu, , dapat diminimalkan menggunakan optimasi Bayesian di mana Proses Gaussian digunakan sebagai model fungsi berisik.f( x ) + N( μ ( x ) , σ( x)2)f(x)+N(μ(x),σ(x)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2) Bagaimana optimasi Bayesian dapat digunakan untuk …

8 bayesian  optimization  bayesian-optimization