Pertanyaan yang diberi tag «optimization»

Baru-baru ini saya telah membaca makalah oleh Yann Dauphin et al. Mengidentifikasi dan menyerang masalah saddle point dalam optimasi non-cembung dimensi tinggi , di mana mereka memperkenalkan algoritma keturunan yang menarik yang disebut Saddle-Free Newton , yang tampaknya dirancang khusus untuk optimalisasi jaringan saraf dan tidak boleh menderita macet di …

13 optimization  deep-learning  gradient-descent 

Apakah ada kelompok penelitian yang berupaya menggunakan pembelajaran yang mendalam untuk masalah optimisasi kombinatorial?

13 optimization  deep-learning 

Pertanyaan ini sudah memiliki jawaban di sini : Algoritma backpropagation (2 jawaban) Ditutup 3 bulan lalu . Apa algoritma back-propagation dan bagaimana cara kerjanya?

13 algorithms  optimization  neural-networks 

Saya mencoba untuk menyetel hyperparameter dari algoritma regresi proses gaussian yang telah saya terapkan. Saya hanya ingin memaksimalkan kemungkinan marginal log yang diberikan oleh rumus mana K adalah matriks kovarians dengan elemen K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} …

13 regression  optimization  gaussian-process  hyperparameter 

Fungsi objektif dari Principal Component Analysis (PCA) adalah meminimalkan kesalahan rekonstruksi dalam norma L2 (lihat bagian 2.12 di sini . Pandangan lain sedang mencoba untuk memaksimalkan varians pada proyeksi. Kami juga memiliki posting yang sangat baik di sini: Apa fungsi tujuan PCA ? ). Pertanyaan saya adalah apakah optimasi PCA …

12 machine-learning  pca  optimization  convex 

Berikut adalah masalah deviasi absolut terkecil yang terkait:. Saya tahu ini bisa diatur ulang sebagai masalah LP dengan cara berikut:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Tapi saya tidak punya ide untuk menyelesaikannya langkah demi langkah, karena …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

TL; DR: lme4optimasi tampaknya linier dalam jumlah parameter model secara default, dan jauh lebih lambat daripada glmmodel yang setara dengan variabel dummy untuk grup. Apakah ada yang bisa saya lakukan untuk mempercepatnya? Saya mencoba menyesuaikan model logit hierarkis yang cukup besar (~ baris 50k, 100 kolom, 50 grup). Memasukkan model …

12 r  mixed-model  optimization  lme4-nlme  numerics 

Apakah penggunaan "variasi" selalu merujuk ke pengoptimalan melalui inferensi variasional? Contoh: "Pengode-otomatis variasi" "Metode Bayesian Variasional" "Grup renasionalisasi variasi"

12 machine-learning  optimization  inference 

Saya melakukan percobaan pada set validasi EMNIST menggunakan jaringan dengan RMSProp, Adam dan SGD. Saya mencapai akurasi 87% dengan SGD (tingkat belajar 0,1) dan dropout (0,1 dropout prob) serta regularisasi L2 (penalti 1e-05). Saat menguji konfigurasi persis yang sama dengan RMSProp dan Adam serta tingkat pembelajaran awal 0,001, saya mencapai …

12 machine-learning  optimization  sgd  adam 

Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

Dalam pembelajaran mesin (untuk masalah regresi), saya sering melihat mean-squared-error (MSE) atau mean-absolute-error (MAE) digunakan sebagai fungsi kesalahan untuk meminimalkan (ditambah istilah regularisasi). Saya bertanya-tanya apakah ada situasi di mana menggunakan koefisien korelasi akan lebih sesuai? jika situasi seperti itu ada, maka: Dalam situasi apa koefisien korelasi metrik lebih baik …

12 regression  machine-learning  svm  optimization  deep-learning 

Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali lagrange? Atau bagaimana metode ini terhubung? λλ\lambdaλλ\lambda

12 regression  optimization  regularization 

Saya ingin memahami uji pasti fisher dengan lebih baik, jadi saya menyusun contoh mainan berikut ini, di mana f dan m berhubungan dengan pria dan wanita, dan n dan y berhubungan dengan "konsumsi soda" seperti ini: > soda_gender f m n 0 5 y 5 0 Jelas, ini adalah penyederhanaan …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Saya mencoba memahami proses pelatihan mesin vektor dukungan linear . Saya menyadari bahwa properti SMV memungkinkan mereka dioptimalkan lebih cepat daripada dengan menggunakan pemecah pemrograman kuadratik, tetapi untuk tujuan pembelajaran saya ingin melihat bagaimana ini bekerja. Data pelatihan set.seed(2015) df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5))) df X1 …

12 r  svm  optimization 

Saya memiliki fungsi kemungkinan untuk kemungkinan data saya memberikan beberapa parameter model , yang ingin saya perkirakan. Dengan asumsi prior prior pada parameter, kemungkinan proporsional dengan probabilitas posterior. Saya menggunakan metode MCMC untuk sampel probabilitas ini.L (d| θ)L(d|θ)\mathcal{L}(d | \theta)dddθ ∈ RNθ∈RN\theta \in \mathbf{R}^N Melihat rantai konvergen yang dihasilkan, saya …

11 bayesian  maximum-likelihood  optimization  inference  mcmc