Pertanyaan yang diberi tag «optimization»

Saya sedang melakukan penelitian tentang teknik optimasi untuk pembelajaran mesin, tetapi saya terkejut menemukan sejumlah besar algoritma optimasi didefinisikan dalam hal masalah optimasi lainnya. Saya menggambarkan beberapa contoh berikut ini. Misalnya https://arxiv.org/pdf/1511.05133v1.pdf Semuanya terlihat bagus dan bagus tapi kemudian ada dalam .... jadi apa algoritma yang memecahkan untuk ? Kami …

23 machine-learning  svm  optimization 

Baru-baru ini ada pertanyaan seperti ML di cstheory stackexchange, dan saya memposting jawaban yang merekomendasikan metode Powell, gradient descent, algoritma genetika, atau "algoritma aproksimasi" lainnya. Dalam komentar seseorang mengatakan kepada saya metode ini adalah "heuristik" dan bukan "algoritma perkiraan" dan sering tidak mendekati optimal teoritis (karena mereka "sering terjebak dalam …

23 machine-learning  optimization  approximation 

Saya ingin tahu apakah selalu ada maximizer untuk masalah estimasi kemungkinan maksimum (log-)? Dengan kata lain, apakah ada beberapa distribusi dan beberapa parameternya, di mana masalah MLE tidak memiliki maximizer? Pertanyaan saya berasal dari klaim seorang insinyur bahwa fungsi biaya (kemungkinan atau log-kemungkinan, saya tidak yakin yang dimaksudkan) di MLE …

23 maximum-likelihood  optimization 

Saya bertanya-tanya apa perbedaan kasus penggunaan untuk dua algoritma, Koordinat Keturunan dan Gradient Keturunan . Saya tahu bahwa penurunan koordinat memiliki masalah dengan fungsi yang tidak mulus tetapi digunakan dalam algoritma populer seperti SVM dan LASSO. Namun penurunan Gradient menurut saya digunakan secara lebih luas, terutama dengan kebangkitan JST, dan …

23 optimization  gradient-descent 

Ada utas serupa di sini ( Fungsi biaya jaringan saraf adalah non-cembung? ) Tapi saya tidak dapat memahami poin-poin dalam jawaban di sana dan alasan saya untuk bertanya lagi berharap ini akan menjelaskan beberapa masalah: Jika saya menggunakan jumlah fungsi biaya selisih kuadrat, saya akhirnya mengoptimalkan sesuatu dari bentuk mana …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Misalkan saya memiliki model berikut ysaya= f( xsaya, θ ) + εsayayi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i di mana ysaya∈ RKysaya∈RKy_i\in \mathbb{R}^K , xsayaxsayax_i adalah vektor dari variabel penjelas, θθ\theta adalah parameter fungsi non-linear fff dan εsaya∼ N( 0 , Σ )εsaya∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , di mana ΣΣ\Sigma alami adalah K× KK×KK\times K matriks. Tujuannya adalah …

22 maximum-likelihood  optimization  covariance 

Mengapa begitu umum untuk mendapatkan estimasi kemungkinan maksimum dari parameter, tetapi Anda hampir tidak pernah mendengar tentang perkiraan parameter kemungkinan yang diharapkan (yaitu, berdasarkan pada nilai yang diharapkan daripada mode fungsi kemungkinan)? Apakah ini terutama karena alasan historis, atau karena alasan teknis atau teoretis yang lebih substantif? Apakah akan ada …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Saya perlu mengimplementasikan program yang akan mengklasifikasikan catatan ke dalam 2 kategori (benar / salah) berdasarkan beberapa data pelatihan, dan saya bertanya-tanya di algoritma / metodologi mana yang harus saya perhatikan. Tampaknya ada banyak dari mereka untuk dipilih - Jaringan Syaraf Tiruan, Algoritma Genetika, Pembelajaran Mesin, Optimasi Bayesian dll. Dll., …

21 machine-learning  bayesian  optimization  genetic-algorithms 

Kami memiliki banyak diskusi bagus tentang pemisahan sempurna dalam regresi logistik. Seperti, Regresi logistik dalam R menghasilkan pemisahan sempurna (fenomena Hauck-Donner). Sekarang apa? dan model regresi logistik tidak bertemu . Saya pribadi masih merasa itu tidak intuitif mengapa itu akan menjadi masalah dan mengapa menambahkan regularisasi akan memperbaikinya. Saya membuat …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Saya tahu definisi matriks positif simetris positif (SPD), tetapi ingin lebih memahami. Mengapa mereka begitu penting, secara intuitif? Inilah yang saya tahu. Apa lagi? Untuk data yang diberikan, matriks Co-variance adalah SPD. Matriks co-variance adalah metrik penting, lihat posting yang luar biasa ini untuk penjelasan intuitif. Bentuk kuadrat 12x⊤Ax−b⊤x+c12x⊤SEBUAHx-b⊤x+c\frac 1 …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut, dll., Yang dikembangkan untuk menghindari terjebak dalam minima lokal.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Saya telah menggunakan theano untuk bereksperimen dengan LSTM, dan bertanya-tanya apa metode optimasi (SGD, Adagrad, Adadelta, RMSprop, Adam, dll) bekerja paling baik untuk LSTM? Apakah ada makalah penelitian tentang topik ini? Juga, apakah jawabannya tergantung pada jenis aplikasi yang saya gunakan untuk LSTM? Jika demikian, saya menggunakan LSTM untuk klasifikasi …

20 machine-learning  neural-networks  optimization  lstm 

Algoritma genetika adalah salah satu bentuk metode optimasi. Seringkali penurunan gradien stokastik dan turunannya adalah pilihan terbaik untuk optimasi fungsi, tetapi kadang-kadang algoritma genetika masih digunakan. Misalnya, antena pesawat ruang angkasa ST5 NASA dibuat dengan algoritma genetika: Kapan metode optimisasi genetik merupakan pilihan yang lebih baik daripada metode gradient descent …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Saya baru mengenal pengoptimalan. Saya terus melihat persamaan yang memiliki superskrip 2 dan subskrip 2 di sebelah kanan norma. Sebagai contoh, di sini adalah persamaan kuadrat terkecil mnt | | Ax-b | |22||Ax−b||22 ||Ax-b||^2_2 Saya rasa saya mengerti superskrip 2: artinya kuadratkan nilai norma. Tapi apa itu subskrip 2? Bagaimana …

20 regression  optimization  notation 

Apakah ada definisi matematis atau algoritmik overfitting? Definisi yang sering disediakan adalah plot 2-D klasik dari titik-titik dengan garis yang melewati setiap titik dan kurva kehilangan validasi tiba-tiba naik. Tetapi apakah ada definisi matematis yang ketat?

18 mathematical-statistics  optimization  overfitting