Pertanyaan yang diberi tag «overfitting»

Apakah ada definisi matematis atau algoritmik overfitting? Definisi yang sering disediakan adalah plot 2-D klasik dari titik-titik dengan garis yang melewati setiap titik dan kurva kehilangan validasi tiba-tiba naik. Tetapi apakah ada definisi matematis yang ketat?

18 mathematical-statistics  optimization  overfitting 

Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode saya?

17 cross-validation  overfitting 

Sementara hasil dari set tes pribadi tidak dapat digunakan untuk memperbaiki model lebih lanjut, bukankah pemilihan model dari sejumlah besar model yang dilakukan berdasarkan hasil set tes pribadi? Tidakkah Anda, melalui proses itu sendiri, berakhir overfitting ke set tes pribadi? Menurut "Pseudo-Matematika dan Charlatanisme Keuangan: Pengaruh Overtest Overfitting pada Out-of-Sample …

16 model-selection  overfitting  out-of-sample 

Mari kita pertimbangkan masalah tentang mengklasifikasikan dataset MNIST. Berdasarkan laman web MNIST Yann LeCun , 'Ciresan et al.' mendapat tingkat kesalahan 0,23% pada set uji MNIST menggunakan Jaringan Nevoltural Convolutional. Mari masing menunjukkan MNIST pelatihan ditetapkan sebagai , MNIST uji ditetapkan sebagai D t e s t , hipotesis akhir …

16 machine-learning  classification  overfitting  probability-inequalities 

Katakanlah kita punya model mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects …

16 mixed-model  lme4-nlme  overfitting  singular 

Saya cukup baru di hutan acak. Di masa lalu, saya selalu membandingkan akurasi fit vs tes terhadap fit vs kereta untuk mendeteksi overfitting apapun. Tapi saya baru baca di sini bahwa: "Di hutan acak, tidak perlu untuk validasi silang atau set tes terpisah untuk mendapatkan estimasi yang tidak bias dari …

15 cross-validation  random-forest  overfitting 

Saat ini saya memasang hutan acak untuk masalah klasifikasi menggunakan randomForestpaket dalam R, dan saya tidak yakin tentang cara melaporkan kesalahan pelatihan untuk model ini. Kesalahan pelatihan saya mendekati 0% ketika saya menghitungnya menggunakan prediksi yang saya dapatkan dengan perintah: predict(model, data=X_train) di mana X_traindata pelatihan. Dalam jawaban untuk pertanyaan …

15 r  machine-learning  classification  random-forest  overfitting 

Saya telah mendengar ungkapan berikut sebelumnya: "Optimasi adalah akar dari semua kejahatan dalam statistik". Sebagai contoh, jawaban teratas di utas ini membuat pernyataan itu mengacu pada bahaya mengoptimalkan terlalu agresif selama pemilihan model. Pertanyaan pertama saya adalah sebagai berikut: Apakah kutipan ini disebabkan oleh orang tertentu? (misalnya dalam literatur statistik) …

14 cross-validation  optimization  overfitting 

Ketika Anda yang melakukan pekerjaan itu, menyadari apa yang Anda lakukan, Anda mengembangkan perasaan ketika Anda memiliki model yang terlalu pas. Untuk satu hal, Anda dapat melacak tren atau kemunduran di Adjusted R Square model. Anda juga dapat melacak penurunan yang serupa pada nilai p dari koefisien regresi dari variabel …

14 regression  multivariate-analysis  overfitting 

Tampaknya ada saran yang bertentangan di luar sana tentang bagaimana menangani membandingkan kesalahan kereta vs tes, terutama ketika ada kesenjangan antara keduanya. Tampaknya ada dua aliran pemikiran yang bagi saya, tampaknya bertentangan. Saya ingin memahami cara mendamaikan keduanya (atau memahami apa yang saya lewatkan di sini). Pemikiran # 1: Kesenjangan …

14 cross-validation  overfitting 

Pertanyaan utama saya adalah tentang mencoba memahami bagaimana k-fold cross-validation cocok dalam konteks memiliki pelatihan / validasi / pengujian set (jika cocok sama sekali dalam konteks seperti itu). Biasanya, orang berbicara tentang memecah data menjadi set pelatihan, validasi dan pengujian - katakan dengan rasio 60/20/20 per kursus Andrew Ng - …

14 cross-validation  dataset  overfitting 

Menurut pendapat saya, data input yang berkorelasi harus mengarah ke overfitting di jaringan saraf karena jaringan mempelajari korelasi misalnya kebisingan dalam data. Apakah ini benar?

13 correlation  neural-networks  overfitting 

Saya memodelkan 15.000 tweet untuk prediksi sentimen menggunakan LSTM lapisan tunggal dengan 128 unit tersembunyi menggunakan representasi seperti word2vec dengan 80 dimensi. Saya mendapatkan akurasi keturunan (38% dengan acak = 20%) setelah 1 zaman. Lebih banyak pelatihan membuat akurasi validasi mulai menurun ketika akurasi pelatihan mulai naik - tanda yang …

13 deep-learning  regularization  overfitting  lstm 

Ini berbatasan dengan pertanyaan filosofis, tetapi saya tertarik pada bagaimana orang lain dengan pengalaman lebih banyak berpikir tentang pemilihan distribusi. Dalam beberapa kasus tampak jelas bahwa teori mungkin paling berhasil (panjang ekor tikus mungkin terdistribusi normal). Dalam banyak kasus, mungkin tidak ada teori untuk mendeskripsikan sekumpulan data, jadi Anda hanya …

12 distributions  overfitting  heuristic 

Dalam buku PRML Bishop, ia mengatakan bahwa, overfitting adalah masalah dengan Estimasi Kemungkinan Maksimum (MLE), dan Bayesian dapat menghindarinya. Tapi saya pikir, overfitting adalah masalah lebih banyak tentang pemilihan model, bukan tentang metode yang digunakan untuk melakukan estimasi parameter. Yaitu, misalkan saya memiliki kumpulan data , yang dihasilkan melalui f …

12 bayesian  model-selection  overfitting