Tidak ada teknik yang akan menghilangkan risiko overfitting sepenuhnya. Metode yang Anda daftarkan adalah semua cara pemasangan model linier yang berbeda. Model linier akan memiliki minimum global, dan minimum itu tidak boleh berubah terlepas dari rasa gradient descent yang Anda gunakan (kecuali Anda menggunakan regularisasi), sehingga semua metode yang Anda daftarkan akan sesuai (atau pakaian dalam).
Pindah dari model linier ke model yang lebih kompleks, seperti pembelajaran yang mendalam, Anda bahkan lebih berisiko mengalami overfitting. Saya sudah memiliki banyak jaringan saraf berbelit-belit yang pakaiannya terlalu buruk, meskipun konvolusi seharusnya mengurangi kemungkinan overfitting secara substansial dengan berbagi bobot. Singkatnya, tidak ada peluru perak untuk overfitting, terlepas dari keluarga model atau teknik optimasi.