Berurusan dengan kinerja yang baik pada data pelatihan dan validasi, tetapi kinerja yang sangat buruk pada pengujian data

Saya memiliki masalah regresi dengan variabel 5-6k. Saya membagi data saya menjadi 3 set yang tidak tumpang tindih: pelatihan, validasi, dan pengujian. Saya melatih hanya menggunakan set pelatihan, dan menghasilkan banyak model regresi linier yang berbeda dengan memilih serangkaian 200 variabel yang berbeda untuk masing-masing model (saya mencoba sekitar 100k subset seperti itu). Saya menilai model sebagai . Dengan menggunakan kriteria ini, saya akhirnya memilih model. Ternyata model yang dipilih memiliki R ^ 2 yang sangat mirip pada pelatihan dan data validasi. Namun, ketika saya mencoba model ini pada data pengujian, ia memiliki R ^ 2 jauh lebih rendah . Jadi sepertinya saya entah bagaimana overfitting pada data pelatihan dan validasi. Ada ide tentang bagaimana saya bisa mendapatkan model yang lebih kuat? $\min(R^2_{\text{training data}}, R^2_{\text{validation data}})$$R^2$$R^2$

Saya mencoba meningkatkan ukuran data pelatihan, tetapi itu tidak membantu. Saya berpikir mungkin menyusutkan ukuran setiap subset.

Saya telah mencoba menggunakan regularisasi. Namun, model yang saya peroleh menggunakan laso atau jaring elastis memiliki R ^ 2 yang jauh lebih rendah $R^2$pada set pelatihan serta set validasi, dibandingkan dengan model yang saya peroleh dengan melakukan pendekatan pemilihan subset. Oleh karena itu, saya tidak mempertimbangkan model-model ini, karena saya berasumsi bahwa jika Model A berkinerja lebih baik daripada Model B di kedua set pelatihan serta set validasi, Model A jelas lebih baik daripada Model B. Saya akan sangat ingin tahu jika Anda tidak setuju dengan ini.

Pada catatan terkait, apakah menurut Anda $R^2$ adalah kriteria yang buruk untuk memilih model saya?

Walaupun ini kedengarannya seperti overfitting, saya pikir itu sebenarnya lebih mungkin bahwa Anda memiliki semacam "bug" dalam kode Anda atau proses Anda. Saya akan mulai dengan memverifikasi bahwa set tes Anda tidak secara sistematis berbeda dari set pelatihan / validasi. Misalkan data Anda diurutkan berdasarkan tanggal (atau apa pun). Jika Anda menggunakan 50% pertama untuk pelatihan, 25% berikutnya untuk validasi, dan sisanya untuk pengujian, Anda mungkin secara tidak sengaja membuat stratifikasi data Anda dengan cara yang membuat data pelatihan agak mewakili data validasi, tetapi kurang begitu untuk menguji data. Ini cukup mudah dilakukan secara tidak sengaja.

Anda juga harus memastikan Anda tidak "mencelupkan dua kali" dalam data validasi, yang terkadang terjadi secara tidak sengaja.

Sebagai alternatif, @Frank Harrell sendiri dari CV telah melaporkan bahwa kereta tunggal / test split sering terlalu variabel untuk memberikan informasi yang berguna pada kinerja sistem (mungkin dia dapat mempertimbangkan dengan kutipan atau beberapa data). Anda mungkin mempertimbangkan untuk melakukan sesuatu seperti validasi silang atau bootstrap, yang memungkinkan Anda mengukur rerata dan ragam ukuran akurasi Anda.

Tidak seperti Mikera, saya tidak berpikir masalahnya adalah mekanisme penilaian Anda. Yang mengatakan, saya tidak bisa membayangkan situasi di mana , jadi saya sarankan mencetak menggunakan data validasi saja.$R^2_{training} < R^2_{validation}$

Secara umum, saya pikir atau sesuatu seperti itu adalah pilihan yang masuk akal untuk mengukur kinerja model output-kontinu, dengan asumsi Anda menyadari potensi peringatannya. Tergantung pada apa yang Anda lakukan, Anda mungkin juga ingin melihat kesalahan maksimum atau terburuk. Jika Anda entah bagaimana mendiskritisasi output Anda (regresi logistik, beberapa ambang eksternal), maka melihat presisi / recall / AUC mungkin ide yang lebih baik.$R^2$

Anda overfitting karena Anda menggunakan min(training r-square,validation r-square)data untuk menghasilkan skor, yang pada gilirannya digunakan untuk mendorong pemilihan model. Karena r-square pelatihan Anda cenderung sama atau lebih rendah (Anda hanya menjalankan regresi, setelah semua), ini kira-kira setara dengan melakukan pemilihan model pada r-square dari data pelatihan.

Ini memiliki efek pas terlalu ketat pada data pelatihan, dan mengabaikan data validasi.

Jika Anda menggunakan saat itu validation r-squaremaka Anda harus mendapatkan hasil yang lebih baik.