Saya membuat kurva pembelajaran ini dan saya ingin tahu apakah model SVM saya mengalami bias atau varians? Bagaimana saya bisa menyimpulkannya dari grafik ini?
Jawaban:
Pertama, kita harus fokus pada sisi kanan plot, di mana ada cukup data untuk evaluasi.
Jika dua kurva "dekat satu sama lain" dan keduanya tetapi memiliki skor rendah. Model menderita masalah pemasangan yang tidak sesuai (Bias Tinggi)
Jika kurva pelatihan memiliki skor yang jauh lebih baik tetapi kurva pengujian memiliki skor yang lebih rendah, yaitu ada kesenjangan besar antara dua kurva. Kemudian model menderita masalah over fitting (High Variance)
Dari plot sulit untuk mengatakan apakah modelnya bagus atau tidak. Mungkin saja Anda memiliki "masalah yang mudah", model yang bagus dapat mencapai 90%. Di sisi lain, ada kemungkinan Anda memiliki "masalah sulit" yang bisa kita lakukan untuk mencapai 70%. (Perhatikan bahwa, Anda mungkin tidak berharap Anda akan memiliki model yang sempurna, misalkan skornya adalah 1. Berapa banyak yang dapat Anda capai tergantung pada seberapa banyak noise dalam data Anda. Misalkan data Anda memiliki banyak titik data memiliki fitur EXACT tetapi label berbeda, apa pun yang Anda lakukan, Anda tidak dapat mencapai skor 1.)
Masalah lain dalam contoh Anda adalah bahwa 350 contoh tampaknya terlalu kecil dalam aplikasi dunia nyata.
Untuk mendapatkan pemahaman yang lebih baik, Anda dapat melakukan percobaan berikut untuk mengalami pengalaman yang kurang pas dan mengamati apa yang akan terjadi dalam kurva pembelajaran.
Pilih data yang sangat rumit katakanlah data MNIST, dan cocok dengan model sederhana, katakan model linier dengan satu fitur.
Pilih data sederhana, katakan data iris, cocok dengan model kompleksitas, katakanlah, SVM.
Selain itu, saya akan memberikan dua contoh terkait under fitting dan over fitting. Perhatikan ini bukan kurva belajar, tetapi kinerja sehubungan dengan jumlah iterasi dalam model peningkatan gradien , di mana lebih banyak iterasi akan memiliki lebih banyak kesempatan over fitting. Sumbu x menunjukkan jumlah iterasi, dan sumbu y menunjukkan kinerja, yang merupakan Area Negatif Di Bawah ROC (semakin rendah semakin baik.)
Subplot kiri tidak mengalami over fitting (well juga tidak under fitting karena kinerjanya cukup baik) tetapi subplot kanan menderita over fitting ketika jumlah iterasi besar.
