Pertanyaan yang diberi tag «overfitting»

Saya agak mengerti apa arti "overfitting", tetapi saya perlu bantuan tentang bagaimana menghasilkan contoh dunia nyata yang berlaku untuk overfitting.

107 overfitting 

Pertimbangkan masalah regresi lama yang baik dengan prediktor dan ukuran sampel n . Kebijaksanaan yang biasa adalah bahwa penaksir OLS akan melampaui batas dan umumnya akan dikalahkan oleh penaksir regresi ridge: \ hat \ beta = (X ^ \ X atas + + lambda I) ^ {- 1} X ^ …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Saya memiliki latar belakang ilmu komputer tetapi saya mencoba mengajari diri sendiri ilmu data dengan memecahkan masalah di internet. Saya telah mengerjakan masalah ini selama beberapa minggu terakhir (sekitar 900 baris dan 10 fitur). Saya awalnya menggunakan regresi logistik tetapi sekarang saya telah beralih ke hutan acak. Ketika saya menjalankan …

41 random-forest  overfitting 

Gagasan analisis data adaptif adalah Anda mengubah rencana Anda untuk menganalisis data saat Anda belajar lebih banyak tentangnya. Dalam kasus analisis data eksplorasi (EDA), ini umumnya merupakan ide yang baik (Anda sering mencari pola yang tidak terduga dalam data), tetapi untuk studi konfirmasi, ini diterima secara luas sebagai metode analisis …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Saya melatih jaringan saraf sederhana pada dataset CIFAR10. Setelah beberapa waktu, kehilangan validasi mulai meningkat, sedangkan akurasi validasi juga meningkat. Kehilangan pengujian dan akurasi pengujian terus meningkat. Bagaimana ini mungkin? Tampaknya jika kehilangan validasi meningkat, keakuratan akan menurun. PS Ada beberapa pertanyaan serupa, tetapi tidak ada yang menjelaskan apa yang …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Apakah mungkin untuk mengenakan model regresi logistik? Saya melihat video yang mengatakan bahwa jika area saya di bawah kurva ROC lebih tinggi dari 95%, maka kemungkinan besar akan terlalu pas, tetapi apakah mungkin untuk mengenakan model regresi logistik?

28 logistic  overfitting  regression-strategies 

Saya menyelesaikan kursus Pembelajaran Mesin Andrew Ng sekitar setahun yang lalu, dan sekarang saya sedang menulis penjelajahan Matematika SMA saya tentang cara kerja Regresi Logistik dan teknik untuk mengoptimalkan kinerja. Salah satu teknik ini, tentu saja, regularisasi. Tujuan dari regularisasi adalah untuk mencegah overfitting dengan memperluas fungsi biaya untuk memasukkan …

27 regression  machine-learning  optimization  regularization  overfitting 

Benarkah metode Bayesian tidak overfit? (Saya melihat beberapa makalah dan tutorial membuat klaim ini) Sebagai contoh, jika kita menerapkan Proses Gaussian ke MNIST (klasifikasi digit tulisan tangan), tetapi hanya memperlihatkannya sebagai sampel tunggal, akankah ia kembali ke distribusi sebelumnya untuk input yang berbeda dari sampel tunggal itu, betapapun kecil perbedaannya?

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

Asumsikan bahwa model memiliki akurasi 100% pada data pelatihan, tetapi akurasi 70% pada data uji. Apakah argumen berikut ini benar tentang model ini? Jelas bahwa ini adalah model overfitted. Akurasi pengujian dapat ditingkatkan dengan mengurangi overfitting. Namun, model ini masih bisa menjadi model yang berguna, karena memiliki akurasi yang dapat …

25 model  accuracy  overfitting 

Asumsikan saya memiliki dataset untuk tugas klasifikasi statistik terawasi, misalnya, melalui pengklasifikasi Bayes. Dataset ini terdiri dari 20 fitur dan saya ingin meringkasnya menjadi 2 fitur melalui teknik pengurangan dimensionalitas seperti Principal Component Analysis (PCA) dan / atau Linear Discriminant Analysis (LDA). Kedua teknik memproyeksikan data ke subruang fitur yang …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Saya sedang membaca laporan dari solusi memenangkan kompetisi Kaggle ( Klasifikasi Malware ). Laporan ini dapat ditemukan di posting forum ini . Masalahnya adalah masalah klasifikasi (sembilan kelas, metrik adalah kehilangan logaritmik) dengan 10.000 elemen di set kereta, 10.000 elemen di set tes. Selama kompetisi, model dievaluasi terhadap 30% dari …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Saya telah melakukan penelitian tentang overfitting dan underfitting, dan saya telah mengerti apa itu sebenarnya, tetapi saya tidak dapat menemukan alasannya. Apa alasan utama untuk overfitting dan underfitting? Mengapa kita menghadapi dua masalah ini dalam melatih model?

20 machine-learning  dataset  overfitting 

Pengaturan saya adalah sebagai berikut: Saya mengikuti garis pedoman dalam "Pemodelan Prediktif Terapan". Jadi saya telah memfilter fitur-fitur terkait dan berakhir dengan yang berikut: 4900 titik data di set latihan dan 1600 titik data di set tes. Saya memiliki 26 fitur dan targetnya adalah variabel kontinu. Saya menerapkan validasi silang …

20 machine-learning  boosting  overfitting 

Regularisasi dalam regresi (linier, logistik ...) adalah cara paling populer untuk mengurangi pemasangan berlebihan. Ketika tujuannya adalah akurasi prediksi (tidak menjelaskan), apakah ada alternatif yang baik untuk regularisasi, terutama cocok untuk kumpulan data besar (mil / pengamatan pengamatan dan jutaan fitur)?

19 regression  regularization  overfitting 

The tingkat belajar parameter ( ) di Gradient Meningkatkan menyusut kontribusi masing-masing model dasar baru -typically sebuah pohon yang dangkal yang ditambahkan dalam seri. Itu terbukti secara dramatis meningkatkan akurasi set tes, yang dapat dimengerti karena dengan langkah-langkah yang lebih kecil, minimum fungsi kerugian dapat dicapai lebih tepat. ν∈ [ …

19 machine-learning  data-mining  predictive-models  boosting  overfitting