Pertanyaan yang diberi tag «optimization»

Dari setiap algoritma pengambilan sampel generik, seseorang dapat memperoleh suatu algoritma optimasi. Memang, untuk memaksimalkan fungsi sewenang-wenang , cukup untuk mengambil sampel dari . Untuk cukup kecil, sampel-sampel ini akan mendekati maksimum global (atau maksimum lokal dalam praktik) dari fungsi .g ∼ e f / T T ff: x → …

18 sampling  optimization 

Saya mencoba meminimalkan fungsi khusus. Ini harus menerima lima parameter dan kumpulan data dan melakukan segala macam perhitungan, menghasilkan angka tunggal sebagai output. Saya ingin menemukan kombinasi lima parameter input yang menghasilkan output terkecil dari fungsi saya.

18 r  optimization 

Banyak tutorial bicara online tentang gradient descent dan hampir semuanya menggunakan ukuran langkah tetap (tingkat pembelajaran ). Mengapa tidak ada penggunaan pencarian baris (seperti pencarian garis backtracking atau pencarian baris yang tepat)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Mengapa menggunakan metode Newton untuk optimasi regresi logistik disebut kuadrat ulang tertimbang iteratif? Sepertinya tidak jelas bagi saya karena kehilangan logistik dan paling tidak hilangnya kotak adalah hal yang sama sekali berbeda.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

Saya telah melihat kesimpulan serupa dari banyak diskusi, bahwa ketika ukuran minibatch semakin besar konvergensi SGD sebenarnya semakin sulit / buruk, misalnya tulisan ini dan jawaban ini . Saya juga pernah mendengar ada orang yang menggunakan trik seperti kecepatan belajar kecil atau ukuran batch pada tahap awal untuk mengatasi kesulitan …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Kami mendefinisikan zaman sebagai telah melalui keseluruhan dari semua sampel pelatihan yang tersedia, dan ukuran mini-batch sebagai jumlah sampel yang kami rata-rata menemukan pembaruan untuk bobot / bias yang diperlukan untuk turun gradien. Pertanyaan saya adalah apakah kita harus menggambar tanpa penggantian dari set contoh pelatihan untuk menghasilkan setiap mini-batch …

18 machine-learning  neural-networks  optimization  deep-learning 

Saya baru belajar tentang pengoptimalan, dan mengalami kesulitan memahami perbedaan antara pengoptimalan cembung dan non-cembung. Dari pemahaman saya, fungsi cembung adalah salah satu di mana "segmen garis antara dua titik pada grafik fungsi berada di atas atau pada grafik". Dalam hal ini, algoritma gradient descent dapat digunakan, karena ada minimum …

18 optimization 

Saya kira ini adalah pertanyaan dasar dan itu ada hubungannya dengan arah gradien itu sendiri, tapi saya sedang mencari contoh di mana metode urutan ke-2 (misalnya BFGS ) lebih efektif daripada penurunan gradien sederhana.

18 optimization 

Seseorang dapat melakukan regresi logit di R menggunakan kode seperti: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Sepertinya algoritme pengoptimalan telah terkonvergensi - ada informasi tentang jumlah langkah algoritme penilaian skor: Call: glm(formula = cbind(Menarche, Total - …

17 r  generalized-linear-model  optimization  algorithms  logit 

Saya menemukan implementasi Python ini dari algoritma Jenks Natural Breaks dan saya bisa membuatnya berjalan di mesin Windows 7 saya. Ini cukup cepat dan menemukan jeda dalam beberapa waktu, mengingat ukuran geodata saya. Sebelum menggunakan algoritma pengelompokan ini untuk data saya, saya menggunakan algoritma sklearn.clustering.KMeans (di sini) . Masalah yang …

17 python  clustering  optimization 

Saya mencoba menggunakan kuadrat kerugian untuk melakukan klasifikasi biner pada kumpulan data mainan. Saya menggunakan mtcarskumpulan data, menggunakan mil per galon dan berat untuk memprediksi jenis transmisi. Plot di bawah ini menunjukkan dua jenis data tipe transmisi dalam warna berbeda, dan batas keputusan dihasilkan oleh fungsi kerugian yang berbeda. Kerugian …

16 r  machine-learning  logistic  optimization  loss-functions 

Saya mencoba mereproduksi dengan optimhasil dari regresi linier sederhana yang dilengkapi dengan glmatau bahkan nlsfungsi R. Perkiraan parameter adalah sama tetapi estimasi varians residual dan kesalahan standar dari parameter lain tidak sama terutama ketika ukuran sampel rendah. Saya kira ini disebabkan oleh perbedaan dalam cara kesalahan standar residual dihitung antara …

16 r  maximum-likelihood  optimization 

Saya menggunakan glmerfungsi dari lme4paket dalam R, dan saya menggunakan bobyqapengoptimal (yaitu default dalam kasus saya). Saya mendapat peringatan, dan saya ingin tahu apa artinya. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce …

16 r  optimization  lme4-nlme  convergence  glmm 

Saya sudah mencoba kode algoritma untuk menyarankan taruhan di 1X2 (game berbobot). Pada dasarnya, setiap pertandingan memiliki serangkaian pertandingan (tim kandang vs tim tamu): 1: rumah menang X: seri 2: kemenangan tandang Untuk setiap pertandingan dan simbol ( 1, Xdan 2), saya akan menetapkan persentase yang mewakili peluang / kemungkinan …

16 optimization 

Saya ingin tahu mengapa kami memperlakukan fitting GLMS seolah-olah mereka adalah beberapa masalah optimasi khusus. Apakah mereka? Bagi saya sepertinya itu hanya kemungkinan maksimum, dan kami menuliskan kemungkinannya dan kemudian ... kami memaksimalkannya! Jadi mengapa kita menggunakan skor Fisher alih-alih segudang skema optimasi yang telah dikembangkan dalam literatur matematika terapan?

16 generalized-linear-model  optimization  fisher-scoring