Saya memiliki latar belakang ilmu komputer tetapi saya mencoba mengajari diri sendiri ilmu data dengan memecahkan masalah di internet.

Saya telah mengerjakan masalah ini selama beberapa minggu terakhir (sekitar 900 baris dan 10 fitur). Saya awalnya menggunakan regresi logistik tetapi sekarang saya telah beralih ke hutan acak. Ketika saya menjalankan model hutan acak saya pada data pelatihan saya, saya mendapatkan nilai sangat tinggi untuk auc (> 99%). Namun ketika saya menjalankan model yang sama pada data uji hasilnya tidak begitu baik (Akurasi sekitar 77%). Ini membuat saya percaya bahwa saya terlalu cocok dengan data pelatihan.

Apa praktik terbaik tentang mencegah pemasangan berlebihan di hutan acak?

Saya menggunakan r dan rstudio sebagai lingkungan pengembangan saya. Saya menggunakan randomForestpaket dan telah menerima default untuk semua parameter

Untuk menghindari pemasangan berlebihan di hutan acak, hal utama yang perlu Anda lakukan adalah mengoptimalkan parameter tuning yang mengatur jumlah fitur yang dipilih secara acak untuk menumbuhkan setiap pohon dari data bootstrap. Biasanya, Anda melakukan ini melalui -fold cross-validation, di mana , dan memilih parameter tuning yang meminimalkan kesalahan prediksi sampel uji. Selain itu, menumbuhkan hutan yang lebih besar akan meningkatkan akurasi prediksi, meskipun biasanya ada pengembalian yang semakin berkurang begitu Anda mencapai beberapa ratus pohon.k ∈ { 5 , 10 $k$$k \in \{5, 10\}$

Bagaimana Anda mendapatkan 99% AUC pada data pelatihan Anda? Ketahuilah bahwa ada perbedaan di antara keduanya

predict(model)

dan

predict(model, newdata=train)

saat mendapatkan prediksi untuk dataset pelatihan. Opsi pertama mendapatkan prediksi out-of-bag dari hutan acak. Ini umumnya yang Anda inginkan, ketika membandingkan nilai yang diprediksi dengan nilai aktual pada data pelatihan.

Yang kedua memperlakukan data pelatihan Anda seolah-olah itu adalah dataset baru, dan menjalankan pengamatan di setiap pohon. Ini akan menghasilkan korelasi artifisial dekat antara prediksi dan aktual, karena algoritma RF umumnya tidak memangkas masing-masing pohon, sebagai gantinya bergantung pada ansambel pohon untuk mengontrol overfitting. Jadi jangan lakukan ini jika Anda ingin mendapatkan prediksi pada data pelatihan.

Untuk pohon keputusan ada dua cara menangani overfitting: (a) jangan menumbuhkan pohon secara keseluruhan (b) memangkas

Hal yang sama berlaku untuk hutan pohon - jangan tumbuh terlalu banyak dan pangkas.

Saya tidak menggunakan randomForestbanyak, tetapi sepengetahuan saya, ada beberapa parameter yang dapat Anda gunakan untuk menyesuaikan hutan Anda:

• nodesize - ukuran minimum terminal node
• maxnodes - jumlah maksimum terminal node
• mtry - jumlah variabel yang digunakan untuk membangun setiap pohon (terima kasih @ user777)

Anda mungkin ingin menggunakan metode validasi silang, seperti validasi silang K fold.

Anda dapat menyetel parameter Anda menggunakan pencarian grid

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

Cobalah untuk menyetel parameter max_depth dalam rentang [5, 15] tetapi tidak lebih dari ini karena jika Anda mengambil kedalaman yang besar ada kemungkinan overfitting yang tinggi.