Sementara hasil dari set tes pribadi tidak dapat digunakan untuk memperbaiki model lebih lanjut, bukankah pemilihan model dari sejumlah besar model yang dilakukan berdasarkan hasil set tes pribadi? Tidakkah Anda, melalui proses itu sendiri, berakhir overfitting ke set tes pribadi?
Menurut "Pseudo-Matematika dan Charlatanisme Keuangan: Pengaruh Overtest Overfitting pada Out-of-Sample Performance" oleh Bailey et.al. relatif mudah untuk "berpakaian" saat memilih yang terbaik dari sejumlah besar model yang dievaluasi pada dataset yang sama. Apakah itu tidak terjadi dengan papan peringkat pribadi Kaggle?
- Apa justifikasi statistik untuk model dengan kinerja terbaik di papan peringkat pribadi sebagai model yang menggeneralisasi yang terbaik untuk data di luar sampel?
- Apakah perusahaan pada akhirnya menggunakan model yang menang, atau apakah papan peringkat pribadi ada hanya untuk memberikan "aturan main", dan perusahaan sebenarnya lebih tertarik pada wawasan yang muncul dari pembahasan masalah?
1
Agak terkait: stats.stackexchange.com/q/235591
—
Kodiologist
Anda bisa melihat perbedaan antara skor pribadi dan publik. Orang bisa berpendapat bahwa model non-overfitted harus mencapai kinerja yang sama pada kedua set data.
—
shadowtalker
@shadowtalker Itu memang akan menjadi cara yang baik untuk mendeteksi overfitting, tetapi yang sebenarnya kami minati adalah kekuatan prediktif out-of-sample model, bukan tingkat overfitting. Model pakaian berlebih - yaitu model yang bekerja jauh lebih baik dalam sampel daripada sampel keluar - mungkin memiliki kinerja sampel yang lebih baik daripada model yang tidak overfit. Saya tidak memiliki referensi di tangan, tetapi saya percaya bahwa sering terjadi dalam domain yang kompleks, misalnya visi komputer, ketika menggunakan model yang kompleks, misalnya CNN.
—
rinspy