Mengapa Adaboost dengan Pohon Keputusan?

Saya telah membaca sedikit tentang meningkatkan algoritma untuk tugas klasifikasi dan Adaboost pada khususnya. Saya memahami bahwa tujuan Adaboost adalah untuk mengambil beberapa "pelajar yang lemah" dan, melalui serangkaian iterasi pada data pelatihan, mendorong pengklasifikasi untuk belajar memprediksi kelas yang modelnya berulang kali membuat kesalahan. Namun, saya bertanya-tanya mengapa begitu banyak bacaan yang saya lakukan menggunakan pohon keputusan sebagai penggolong yang lemah. Apakah ada alasan khusus untuk ini? Apakah ada pengklasifikasi tertentu yang membuat kandidat Adaboost baik atau buruk?

Saya membicarakan hal ini sebagai jawaban atas pertanyaan SO terkait . Decision tree secara umum sangat cocok untuk meningkatkan, lebih dari algoritma lainnya. Versi poin / ringkasan adalah:

1. Pohon keputusan tidak linier. Meningkatkan dengan model linier sama sekali tidak berfungsi dengan baik.
2. Pelajar yang lemah harus konsisten lebih baik daripada menebak secara acak. Anda tidak perlu melakukan penyetelan parameter ke pohon keputusan untuk mendapatkan perilaku itu. Pelatihan SVM benar-benar membutuhkan pencarian parameter. Karena data ditimbang ulang pada setiap iterasi, Anda mungkin perlu melakukan pencarian parameter lain pada setiap iterasi. Jadi, Anda meningkatkan jumlah pekerjaan yang harus Anda lakukan dengan margin besar.
3. Pohon keputusan cukup cepat untuk dilatih. Karena kita akan membangun 100 atau 1000 di antaranya, itu properti yang bagus. Mereka juga cepat untuk mengklasifikasikan, yang lagi penting ketika Anda membutuhkan 100 atau 1000 untuk dijalankan sebelum Anda dapat menghasilkan keputusan Anda.
4. Dengan mengubah kedalaman Anda memiliki kontrol sederhana dan mudah atas bias / varians trade off, mengetahui bahwa meningkatkan dapat mengurangi bias tetapi juga secara signifikan mengurangi varians. Meningkatkan dikenal untuk pakaian berlebihan, sehingga bangsawan mudah untuk menyetel sangat membantu dalam hal itu.

Saya tidak punya jawaban buku teks. Namun di sini ada beberapa pemikiran.

Peningkatan dapat dilihat dibandingkan langsung dengan mengantongi. Ini adalah dua pendekatan berbeda dari dilema bias varians tradeoff. Sementara bagging memiliki peserta didik yang lemah, beberapa peserta didik dengan bias rendah dan varians tinggi, dengan rata-rata ansambel bagging mengurangi varians untuk sedikit bias. Meningkatkan di sisi lain bekerja dengan baik dengan pelajar yang lemah berbeda. Pembelajar yang lemah meningkatkan memiliki bias tinggi dan varian rendah. Dengan membangun satu pelajar di atas yang lain, ansambel penambah mencoba mengurangi bias, untuk sedikit variasi.

Sebagai konsekuensinya, jika Anda mempertimbangkan untuk menggunakan bagging dan meningkatkan dengan pohon sebagai pembelajar yang lemah, cara terbaik untuk menggunakannya adalah pohon kecil / pendek dengan boosting dan pohon yang sangat detail dengan bagging. Inilah sebabnya mengapa seringkali prosedur peningkatan menggunakan tunggul keputusan sebagai pembelajar yang lemah, yang merupakan pohon terpendek yang mungkin (kondisi tunggal jika pada dimensi tunggal). Putusan keputusan ini sangat stabil, sehingga memiliki varian yang sangat rendah.

Saya tidak melihat alasan untuk menggunakan pohon dengan prosedur peningkatan. Namun, pohon pendek itu sederhana, mudah diimplementasikan dan mudah dimengerti. Namun, saya pikir bahwa untuk berhasil dengan prosedur peningkatan, pelajar Anda yang lemah harus memiliki varian rendah, harus kaku, dengan sedikit derajat kebebasan. Sebagai contoh saya melihat tidak ada gunanya memiliki sebagai pembelajar yang lemah jaringan saraf.

Selain itu, Anda harus mencatat bahwa untuk beberapa jenis prosedur peningkatan, peningkatan gradien misalnya, Breiman menemukan bahwa jika pelajar yang lemah adalah pohon, beberapa optimasi dalam cara meningkatkan kerja dapat dilakukan. Dengan demikian kami memiliki pohon meningkatkan gradien. Ada eksposur peningkatan yang bagus dalam buku ESTL.