Saya bukan ahli hutan acak tapi saya jelas mengerti bahwa masalah utama dengan hutan acak adalah generasi pohon (acak). Bisakah Anda jelaskan bagaimana pohon itu dihasilkan? (mis. Apa distribusi yang digunakan untuk pembuatan pohon?)
Terima kasih sebelumnya !
Jawaban:
Implementasi RF sedikit berbeda. Saya tahu bahwa implementasi proprietary dari Salford Systems seharusnya lebih baik daripada vanilla di R. Penjelasan algoritme dalam ESL oleh Friedman-Hastie-Tibshirani, edisi ke-2, cetakan ke-3 . Seluruh bab (ke-15) dikhususkan untuk RF, dan menurut saya sebenarnya lebih jelas daripada tulisan aslinya. Algoritma konstruksi pohon dirinci pada hal.588; tidak perlu bagi saya untuk mereproduksi di sini, karena buku itu tersedia secara online.
Gagasan utamanya adalah prosedur mengantongi, bukan membuat pohon acak. Secara rinci, setiap pohon dibangun di atas sampel objek yang digambar dengan penggantian dari set aslinya; dengan demikian setiap pohon memiliki beberapa objek yang belum dilihatnya, yang membuat keseluruhan ansambel lebih heterogen dan dengan demikian lebih baik dalam generalisasi.
Lebih jauh, pohon-pohon dilemahkan sedemikian rupa sehingga pada setiap pemisahan hanya M (atau mtry) atribut yang dipilih secara acak yang dipertimbangkan; M biasanya merupakan akar kuadrat dari jumlah atribut dalam himpunan. Ini memastikan bahwa pohon-pohonnya kurang dilengkapi, karena mereka tidak dipangkas. Anda dapat menemukan detail lebih lanjut di sini .
Di sisi lain, ada varian RF yang disebut Extreme Random Forest, di mana pohon dibuat secara acak (tidak ada optimasi pemisahan) - lihat, saya pikir referensi ini .