Pertanyaan yang diberi tag «optimization»

Saat ini saya sedang mengerjakan implementasi Stochastic Gradient Descent,, SGDuntuk jaring saraf menggunakan back-propagation, dan sementara saya mengerti tujuannya, saya punya beberapa pertanyaan tentang bagaimana memilih nilai untuk tingkat pembelajaran. Apakah tingkat pembelajaran terkait dengan bentuk gradien kesalahan, karena menentukan tingkat keturunan? Jika demikian, bagaimana Anda menggunakan informasi ini untuk …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Jadi, saya belum dapat menemukan literatur tentang hal ini tetapi sepertinya ada sesuatu yang layak dipertimbangkan: Apa praktik terbaik dalam pelatihan model dan optimisasi jika pengamatan baru tersedia? Apakah ada cara untuk menentukan periode / frekuensi pelatihan ulang model sebelum prediksi mulai menurun? Apakah terlalu pas jika parameter dioptimalkan kembali …

28 machine-learning  predictive-modeling  optimization  training 

Saat melatih jaringan saraf, satu hyperparameter adalah ukuran minibatch. Pilihan umum adalah 32, 64 dan 128 elemen per batch mini. Apakah ada aturan / pedoman seberapa besar mini-batch seharusnya? Adakah publikasi yang menyelidiki efeknya terhadap pelatihan?

21 neural-network  deep-learning  convnet  optimization 

Saya bertanya-tanya apakah ada skenario di mana gradient descent tidak menyatu ke minimum. Saya sadar bahwa gradient descent tidak selalu dijamin akan menyatu dengan global optimal. Saya juga sadar bahwa itu mungkin berbeda dari optimal jika, katakanlah, ukuran langkah terlalu besar. Namun, bagi saya tampaknya, jika itu menyimpang dari beberapa …

21 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

Saya telah menggunakan jaringan saraf untuk sementara waktu sekarang. Namun, satu hal yang selalu saya perjuangkan adalah pemilihan pengoptimal untuk melatih jaringan (menggunakan backprop). Apa yang biasanya saya lakukan hanyalah mulai dengan satu (misalnya SGD standar) dan kemudian coba yang lain cukup banyak secara acak. Saya bertanya-tanya apakah ada pendekatan …

18 neural-network  optimization  backpropagation 

Saya mendengar Andrew Ng (dalam video yang sayangnya tidak dapat saya temukan lagi) berbicara tentang bagaimana pemahaman tentang minimum lokal dalam masalah pembelajaran yang mendalam telah berubah dalam arti bahwa mereka sekarang dianggap kurang bermasalah karena dalam ruang dimensi tinggi (ditemui dalam pembelajaran mendalam) poin-poin kritis lebih cenderung menjadi poin …

18 machine-learning  deep-learning  optimization  convergence 

Dari pemahaman saya, Algoritma Genetika adalah alat yang ampuh untuk optimasi multi-tujuan. Selain itu, pelatihan Neural Networks (terutama yang dalam) sulit dan memiliki banyak masalah (fungsi biaya non-cembung - minimum lokal, menghilang dan meledak gradien dll). Juga saya secara konseptual melatih NN dengan GA layak. Saya bertanya-tanya, mengapa mereka tidak …

13 neural-network  optimization  genetic-algorithms 

Saya ingin tahu apakah keturunan Gradient adalah algoritma utama yang digunakan dalam pengoptimal seperti Adam, Adagrad, RMSProp dan beberapa pengoptimal lainnya.

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

The Wikipedia halaman yang kutipan "The Elements of statistik Learning" kata: Biasanya, untuk masalah klasifikasi dengan fitur , ⌊ √halhalp fitur p ⌋digunakan di setiap pemisahan.⌊ hlm-√⌋⌊hal⌋\lfloor \sqrt{p}\rfloor Saya mengerti bahwa ini adalah tebakan berpendidikan yang cukup baik dan mungkin dikonfirmasi oleh bukti empiris, tetapi apakah ada alasan lain mengapa …

13 statistics  random-forest  optimization  evaluation  sampling 

Tampaknya pengoptimal Adaptive Moment Estimation (Adam) hampir selalu bekerja lebih baik (lebih cepat dan lebih dapat dipercaya mencapai minimum global) ketika meminimalkan fungsi biaya dalam pelatihan jaring saraf. Mengapa tidak selalu menggunakan Adam? Mengapa repot-repot menggunakan RMSProp atau pengoptimal momentum?

12 neural-network  optimization 

Fungsi dasar R glm()menggunakan Fishers Scoring untuk MLE, sedangkan glmnettampaknya menggunakan metode penurunan koordinat untuk menyelesaikan persamaan yang sama. Keturunan koordinat lebih hemat waktu daripada Fisher Scoring, karena Fisher Scoring menghitung matriks turunan urutan kedua, di samping beberapa operasi matriks lainnya. yang membuat mahal untuk dilakukan, sedangkan koordinat keturunan dapat …

11 machine-learning  r  algorithms  optimization 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 5 tahun yang lalu . Sepertinya sebagian besar bahasa memiliki sejumlah perpustakaan komputasi ilmiah yang tersedia. Python memiliki Scipy …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 4 tahun yang lalu . Saya sedang mengerjakan suatu proyek dan saya mengalami kesulitan dalam menentukan algoritma mana yang …

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

Saya menggunakan tensorflow untuk menulis jaringan saraf sederhana untuk sedikit riset dan saya punya banyak masalah dengan bobot 'nan' saat pelatihan. Saya mencoba banyak solusi berbeda seperti mengubah pengoptimal, mengubah kehilangan, ukuran data, dll. Tetapi tanpa hasil. Akhirnya, saya perhatikan bahwa perubahan dalam tingkat pembelajaran membuat perbedaan yang luar biasa …

9 machine-learning  python  tensorflow  optimization  gradient-descent 

saat mengambil kursus online tentang pembelajaran mesin oleh Andrew Ng tentang coursera, saya menemukan topik yang disebut overfitting . Saya tahu ini dapat terjadi ketika gradient descent digunakan dalam regresi linier atau logistik tetapi dapatkah hal ini terjadi ketika algoritma Optimasi Lanjutan seperti "Conjugate gradient", "BFGS", dan "L-BFGS" digunakan?

8 machine-learning  regression  optimization  gradient-descent  overfitting