Pertanyaan yang diberi tag «regularization»

Jika menghapus beberapa neuron menghasilkan model yang berkinerja lebih baik, mengapa tidak menggunakan jaringan saraf yang lebih sederhana dengan lebih sedikit lapisan dan lebih sedikit neuron di tempat pertama? Mengapa membangun model yang lebih besar dan lebih rumit pada awalnya dan menekan bagian-bagiannya nanti?

13 machine-learning  deep-learning  keras  regularization  dropout 

Melakukan model regresi linier menggunakan fungsi kerugian, mengapa saya harus menggunakan daripada regularisasi ?L 2L.1L1L_1L.2L2L_2 Apakah lebih baik mencegah overfitting? Apakah itu deterministik (jadi selalu solusi unik)? Apakah lebih baik dalam pemilihan fitur (karena memproduksi model jarang)? Apakah ini membubarkan bobot di antara fitur-fiturnya?

10 linear-regression  regularization 

Saya memiliki dua tensor a:[batch_size, dim] b:[batch_size, dim]. Saya ingin melakukan produk dalam untuk setiap pasangan dalam batch, menghasilkan c:[batch_size, 1], di mana c[i,0]=a[i,:].T*b[i,:]. Bagaimana?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Saat melatih jaringan saraf, setidaknya ada 4 cara untuk mengatur jaringan: Regulasi L1 Regulasi L2 Keluar Normalisasi Batch ditambah tentu saja hal-hal lain seperti pembagian berat badan dan mengurangi jumlah koneksi, yang mungkin bukan pengaturan dalam arti yang paling ketat. Tetapi bagaimana orang akan memilih metode regularisasi mana yang akan …

9 neural-network  regularization 

Apakah ada makalah yang diterbitkan yang menunjukkan perbedaan metode regularisasi untuk jaringan saraf, lebih disukai pada domain yang berbeda (atau setidaknya set data yang berbeda)? Saya bertanya karena saat ini saya merasa bahwa kebanyakan orang tampaknya hanya menggunakan dropout untuk regularisasi dalam visi komputer. Saya ingin memeriksa apakah akan ada …

9 neural-network  computer-vision  convnet  regularization  dropout