Dapatkah overfitting terjadi dalam algoritma Pengoptimalan Lanjutan?


8

saat mengambil kursus online tentang pembelajaran mesin oleh Andrew Ng tentang coursera, saya menemukan topik yang disebut overfitting . Saya tahu ini dapat terjadi ketika gradient descent digunakan dalam regresi linier atau logistik tetapi dapatkah hal ini terjadi ketika algoritma Optimasi Lanjutan seperti "Conjugate gradient", "BFGS", dan "L-BFGS" digunakan?

Jawaban:


11

Tidak ada teknik yang akan menghilangkan risiko overfitting sepenuhnya. Metode yang Anda daftarkan adalah semua cara pemasangan model linier yang berbeda. Model linier akan memiliki minimum global, dan minimum itu tidak boleh berubah terlepas dari rasa gradient descent yang Anda gunakan (kecuali Anda menggunakan regularisasi), sehingga semua metode yang Anda daftarkan akan sesuai (atau pakaian dalam).

Pindah dari model linier ke model yang lebih kompleks, seperti pembelajaran yang mendalam, Anda bahkan lebih berisiko mengalami overfitting. Saya sudah memiliki banyak jaringan saraf berbelit-belit yang pakaiannya terlalu buruk, meskipun konvolusi seharusnya mengurangi kemungkinan overfitting secara substansial dengan berbagi bobot. Singkatnya, tidak ada peluru perak untuk overfitting, terlepas dari keluarga model atau teknik optimasi.


Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.