Pertanyaan yang diberi tag «overfitting»

Saya telah belajar bahwa over-fitting dapat dideteksi dengan merencanakan kesalahan pelatihan dan kesalahan pengujian versus zaman. Seperti di: Saya telah membaca posting blog ini di mana mereka mengatakan jaringan saraf, net5 terlalu pas dan mereka memberikan angka ini: Yang aneh bagi saya, karena kesalahan validasi dan pelatihan dari net5 terus …

9 neural-networks  overfitting 

Apakah masuk akal untuk mengenakan model secara sengaja? Katakanlah saya memiliki kasus penggunaan di mana saya tahu data tidak akan banyak berbeda sehubungan dengan data pelatihan. Saya berpikir di sini tentang prediksi lalu lintas, di mana status lalu lintas mengikuti serangkaian pola yang tetap pagi perjalanan aktivitas waktu malam dan …

8 machine-learning  time-series  forecasting  prediction  overfitting 

Saya bertanya-tanya tentang kehalusan kisi optimal dan apa hubungan antara kehalusan kisi-kisi dan overfitting dalam metode regularisasi seperti LASSO, regresi ridge atau jaring elastis. Misalkan saya ingin mencocokkan model regresi menggunakan LASSO dengan sampel 500 pengamatan (saya tidak punya data; ini hanya sebuah contoh). Misalkan saya punya (A) grid dengan …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Saat ini saya menggunakan penghentian awal dalam pekerjaan saya untuk mencegah pemasangan yang berlebihan. Khususnya yang diambil dari Early Stopping But When? . Saya sekarang ingin membandingkan dengan algoritma klasifikasi lain di mana tampak bahwa 10 kali validasi silang digunakan secara luas. Namun saya bingung tentang apakah validasi silang adalah …

8 cross-validation  overfitting 

Proyek saya saat ini mungkin mengharuskan saya untuk membuat model untuk memprediksi perilaku sekelompok orang tertentu. set data pelatihan hanya berisi 6 variabel (id hanya untuk tujuan identifikasi): id, age, income, gender, job category, monthly spend di mana monthly spendadalah variabel respon. Tetapi dataset pelatihan berisi sekitar 3 juta baris, …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Saya memiliki masalah regresi dengan variabel 5-6k. Saya membagi data saya menjadi 3 set yang tidak tumpang tindih: pelatihan, validasi, dan pengujian. Saya melatih hanya menggunakan set pelatihan, dan menghasilkan banyak model regresi linier yang berbeda dengan memilih serangkaian 200 variabel yang berbeda untuk masing-masing model (saya mencoba sekitar 100k …

8 regression  cross-validation  model-selection  r-squared  overfitting