Pertanyaan yang diberi tag «overfitting»

Pertama-tama: Saya tahu, tidak ada jumlah umum ukuran sampel yang diperlukan untuk melatih jaringan saraf. Itu tergantung pada terlalu banyak faktor seperti kerumitan tugas, kebisingan dalam data dan sebagainya. Dan semakin banyak sampel pelatihan yang saya miliki, semakin baik jaringan saya. Tetapi saya bertanya-tanya: Apakah secara teori mungkin untuk melatih …

12 neural-networks  overfitting  underdetermined 

Saya ingin memahami uji pasti fisher dengan lebih baik, jadi saya menyusun contoh mainan berikut ini, di mana f dan m berhubungan dengan pria dan wanita, dan n dan y berhubungan dengan "konsumsi soda" seperti ini: > soda_gender f m n 0 5 y 5 0 Jelas, ini adalah penyederhanaan …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Saya memiliki distribusi nilai bimodal yang jelas, yang menurut saya cocok. Data dapat cocok dengan 2 fungsi normal (bimodal) atau dengan 3 fungsi normal. Selain itu, ada alasan fisik yang masuk akal untuk menyesuaikan data dengan 3. Semakin banyak parameter yang diperkenalkan, semakin sempurna kesesuaiannya, karena dengan konstanta yang cukup, …

11 distributions  normal-distribution  model-selection  overfitting 

Hari ini profesor kami menyatakan di kelas bahwa "overfitting dengan pengklasifikasi linear tidak mungkin". Saya berpendapat bahwa itu salah, karena bahkan pengklasifikasi linier dapat peka terhadap outlier dalam set pelatihan - ambil contohnya margin keras Dukungan Mesin Vektor: Satu titik data berisik dapat mengubah hyperplane mana yang akan digunakan untuk …

10 classification  overfitting 

Sejauh yang saya lihat, pendapat cenderung berbeda tentang ini. Praktik terbaik tentu akan menentukan menggunakan validasi silang (terutama jika membandingkan RF dengan algoritma lain pada dataset yang sama). Di sisi lain, sumber asli menyatakan bahwa fakta kesalahan OOB dihitung selama pelatihan model cukup dari indikator kinerja set tes. Bahkan Trevor …

10 cross-validation  random-forest  overfitting  out-of-sample 

Saya telah membaca beberapa literatur yang hutan acak tidak bisa pakai terlalu banyak. Walaupun ini terdengar hebat, tampaknya terlalu bagus untuk menjadi kenyataan. Apakah mungkin bagi rf untuk berpakaian berlebihan?

10 random-forest  overfitting 

Saya mengerti bahwa kita dapat menggunakan regularisasi dalam masalah regresi kuadrat terkecil sebagai w∗= argminw[ ( Y - X w )T( y - X w ) + λ ∥ w ∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] dan bahwa masalah ini memiliki solusi bentuk tertutup seperti: w^= ( …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Saya mencoba memahami apa model jenuh itu. AFAIK itu ketika Anda memiliki banyak fitur pengamatan. Bisakah kita mengatakan model jenuh adalah kasus khusus dari model yang sangat dilengkapi?

10 overfitting 

Ini mungkin pertanyaan mendasar: Apa perbedaan antara bias dan kekurangan? Dan, secara analog, apa perbedaan antara varians dan overfitting? Apakah ketentuan masing-masing pasangan memiliki arti yang sama? Jika tidak, apa bedanya?

10 variance  bias  overfitting  model-evaluation 

Apakah itu tidak menyebabkan pemasangan yang berlebihan? Apakah hasil saya akan lebih andal jika saya menambahkan prosedur jack-knife atau bootstrap sebagai bagian dari analisis?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

Saya memiliki beberapa model prediktif yang kinerjanya ingin saya uji kembali (yaitu, ambil dataset saya, "putar kembali" ke titik waktu sebelumnya, dan lihat bagaimana model tersebut akan tampil secara prospektif). Masalahnya adalah bahwa beberapa model saya dibangun melalui proses interaktif. Misalnya, mengikuti saran dalam Strategi Pemodelan Regresi Frank Harrell , …

9 cross-validation  modeling  outliers  splines  overfitting 

Saya memiliki model regresi sederhana ( y = param1 * x1 + param2 * x2 ). Ketika saya memasukkan model ke data saya, saya menemukan dua solusi yang baik: Solusi A, params = (2,7), yang terbaik pada set pelatihan dengan RMSE = 2.5 TAPI! Solusi B params = (24,20) menang …

9 regression  cross-validation  overfitting  sensitivity-analysis 

Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi silang tidak dapat mengidentifikasi overfitting sepenuhnya. Lalu saya menyebutkan regularisasi, tetapi …

9 cross-validation  regularization  overfitting 

Dalam studi psikologi saya belajar bahwa kita harus menggunakan metode Bonferroni untuk menyesuaikan tingkat signifikansi ketika menguji beberapa hipotesis pada satu dataset. Saat ini saya sedang bekerja dengan metode pembelajaran mesin seperti Support Vector Machines atau Random Forest untuk klasifikasi. Di sini saya memiliki satu set data yang digunakan dalam …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 γγ\gammaλλ\lambdaTTTwjwjw_j Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node …

9 cart  regularization  boosting  gradient-descent  overfitting