Penjelasan intuitif tentang algoritma AdaBoost
Biarkan saya membangun jawaban luar biasa @ Randel dengan ilustrasi poin berikut
- Di Adaboost, 'kekurangan' diidentifikasi oleh titik data berbobot tinggi
Rekap AdaBoost
Gm(x) m=1,2,...,M
G(x)=sign(α1G1(x)+α2G2(x)+...αMGM(x))=sign(∑m=1MαmGm(x))
AdaBoost pada contoh mainan
M=10
Memvisualisasikan urutan peserta didik yang lemah dan bobot sampel
m=1,2...,6
Iterasi pertama:
- Batas keputusan sangat sederhana (linier) karena ini adalah kita pelajar
- Semua poin memiliki ukuran yang sama, seperti yang diharapkan
- 6 titik biru berada di wilayah merah dan salah klasifikasi
Iterasi kedua:
- Batas keputusan linear telah berubah
- Poin biru yang sebelumnya salah diklasifikasikan sekarang lebih besar (sample_weight lebih besar) dan telah mempengaruhi batas keputusan
- 9 titik biru sekarang salah diklasifikasikan
Hasil akhir setelah 10 iterasi
αm
([1,041, 0,875, 0,837, 0,781, 1,04, 0,938 ...
Seperti yang diharapkan, iterasi pertama memiliki koefisien terbesar karena merupakan iterasi dengan kesalahan klasifikasi paling sedikit.
Langkah selanjutnya
Penjelasan intuitif peningkatan gradien - untuk diselesaikan
Sumber dan bacaan lebih lanjut: