Saya tidak mengerti persis apa yang dimaksud dengan ukuran simpul. Saya tahu apa itu simpul keputusan, tetapi bukan apa ukuran simpul itu.
Apa yang dimaksud dengan “ukuran simpul” di Hutan Acak?
Jawaban:
Pohon keputusan bekerja dengan partisi rekursif dari set pelatihan. Setiap node dari pohon keputusan dikaitkan dengan satu set titik data dari set pelatihan:
Anda mungkin menemukan parameter nodesizedi beberapa paket forest acak, misalnya R : Ini adalah ukuran simpul minimum , dalam contoh di atas ukuran simpul minimum adalah 10. Parameter ini secara implisit menentukan kedalaman pohon Anda.
nodesize dari paket R random forest
Ukuran minimum terminal node. Menetapkan jumlah ini lebih besar menyebabkan pohon yang lebih kecil tumbuh (dan karenanya membutuhkan waktu lebih sedikit). Perhatikan bahwa nilai default berbeda untuk klasifikasi (1) dan regresi (5).
Dalam paket lain Anda langsung menemukan parameter depth, misalnya WEKA :
-depth dari paket hutan acak WEKA
Kedalaman maksimum pohon, 0 untuk tidak terbatas. (default 0)
1
Apa itu 'catatan'? Apakah maksud Anda titik data? Mengapa setiap node dikaitkan dengan satu set catatan? Saya mengerti hutan acak cukup baik, tapi saya tidak tahu apa artinya jargon.
—
wolfsatthedoor atau
Ya, maksud saya adalah titik data. Biasanya Anda dapat merujuk ke titik data sebagai catatan, contoh, atau contoh.
—
Simone
Jadi apakah ada aturan ukuran simpul minimum untuk menghindari pohon yang terlalu cocok? Saya membayangkan itu tergantung pada ukuran data pelatihan jadi mungkin proporsi tertentu dari ukuran dataset?
—
Seanosapien
Di hutan acak, pohon sepenuhnya tumbuh: ukuran simpul adalah 1. Overfitting dihindari menumbuhkan banyak pohon. Di pohon keputusan itu lebih rumit. Pohon belum sepenuhnya tumbuh dan Anda harus melakukan pemangkasan untuk menghindari overfitting.
—
Simone
Sepertinya menampi adalah semacam pemilihan fitur untuk menyederhanakan pohon dan menghindari overfitting. Saya kira pemangkasan satu pohon selalu bermanfaat. Sebaliknya, menampi terkadang dapat mengurangi akurasi tetapi menyederhanakan pohon.
—
Simone
Tidak jelas apakah nodesize berada pada sampling "in-bag" atau kesalahan "out-of-bag". Jika ada pada pengambilan sampel "out-of-bag", itu sedikit lebih ketat.