Pertanyaan yang diberi tag «boosting»

Apa persamaan dan perbedaan antara 3 metode ini: Mengantongi, Meningkatkan, Susun? Mana yang terbaik? Dan mengapa? Bisakah Anda memberi saya contoh untuk masing-masing?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan sebagai pelajar dasar. Saya bertanya-tanya apakah kita harus membuat pohon keputusan dasar serumit mungkin (dewasa) atau lebih sederhana? Apakah ada penjelasan untuk pilihannya? Random Forest adalah metode ensemble lain yang menggunakan pohon keputusan sebagai pelajar dasar. Berdasarkan pemahaman saya, …

110 machine-learning  random-forest  cart  boosting  ensemble 

Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan parameter xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Definisi singkat untuk meningkatkan : Bisakah satu set pelajar yang lemah menciptakan pelajar yang kuat? Pelajar yang lemah didefinisikan sebagai penggolong yang hanya sedikit berkorelasi dengan klasifikasi yang benar (ia dapat memberi label contoh yang lebih baik daripada menebak secara acak). Definisi singkat dari Hutan Acak : Hutan Acak menumbuhkan …

51 machine-learning  random-forest  boosting  bagging 

Saya mencoba memahami perbedaan antara GBM & Adaboost. Inilah yang saya mengerti sejauh ini: Ada keduanya meningkatkan algoritma, yang belajar dari kesalahan model sebelumnya dan akhirnya membuat jumlah model tertimbang. GBM dan Adaboost sangat mirip kecuali untuk fungsi kehilangannya. Tapi tetap saja sulit bagi saya untuk mengambil ide perbedaan di …

48 boosting  gbm  adaboost 

Saat belajar tentang Peningkatan Gradien, saya belum pernah mendengar tentang kendala mengenai sifat-sifat "classifier lemah" yang digunakan metode untuk membangun dan membuat model ansambel. Namun, saya tidak bisa membayangkan aplikasi GB yang menggunakan regresi linier, dan sebenarnya ketika saya telah melakukan beberapa tes - tidak berhasil. Saya sedang menguji pendekatan …

35 regression  machine-learning  boosting  ensemble  gradient 

Saya telah mengikuti kompetisi Kaggle untuk waktu yang lama dan saya menyadari bahwa banyak strategi kemenangan melibatkan menggunakan setidaknya satu dari "bertiga besar": mengantongi, meningkatkan dan menumpuk. Untuk regresi, daripada berfokus pada membangun satu model regresi terbaik, membangun beberapa model regresi seperti (linier) regresi linier, hutan acak, KNN, NN, dan …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Ada beberapa implementasi model keluarga GBDT seperti: GBM XGBoost LightGBM Catboost. Apa perbedaan matematika antara implementasi yang berbeda ini? Catboost tampaknya mengungguli implementasi lainnya bahkan dengan hanya menggunakan parameter standarnya sesuai dengan tanda bangku ini , tetapi masih sangat lambat. Dugaan saya adalah bahwa catboost tidak menggunakan variabel dummi, sehingga …

33 boosting  xgboost 

Saya sedang mencari penjelasan tentang betapa pentingnya variabel relatif dihitung dalam Gradient Boosted Trees yang tidak terlalu umum / sederhana seperti: Langkah-langkah didasarkan pada berapa kali variabel dipilih untuk pemisahan, ditimbang oleh peningkatan kuadrat untuk model sebagai hasil dari setiap perpecahan, dan rata-rata di semua pohon . [ Elith et …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Apa saja pedoman yang berguna untuk parameter pengujian (yaitu kedalaman interaksi, anak kecil, laju sampel, dll.) Menggunakan GBM? Katakanlah saya memiliki 70-100 fitur, populasi 200.000 dan saya berniat menguji kedalaman interaksi 3 dan 4. Jelas saya perlu melakukan beberapa pengujian untuk melihat kombinasi parameter apa yang terbaik di luar sampel. …

31 r  hypothesis-testing  cart  boosting 

Saya punya pertanyaan tentang parameter kedalaman interaksi dalam gbm di R. Ini mungkin pertanyaan noob, yang saya minta maaf, tetapi bagaimana parameternya, yang saya yakini menunjukkan jumlah terminal terminal dalam sebuah pohon, pada dasarnya menunjukkan X-way interaksi di antara para prediktor? Hanya mencoba memahami cara kerjanya. Selain itu, saya mendapatkan …

30 r  machine-learning  boosting  gbm 

Sebagai contoh, ambil fungsi objektif dari model XGBoost pada iterasi :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) di mana adalah fungsi kerugian, adalah keluaran pohon ke - dan adalah regularisasi. Salah satu (banyak) langkah utama untuk perhitungan cepat adalah perkiraan:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), di mana dan adalah turunan pertama dan kedua dari fungsi loss.gigig_ihihih_i Yang saya …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Lihat juga pertanyaan serupa di stats.SE . Dalam meningkatkan algoritma seperti AdaBoost dan LPBoost diketahui bahwa pelajar "lemah" yang akan digabungkan hanya harus berkinerja lebih baik daripada kesempatan untuk berguna, dari Wikipedia: Klasifikasi yang digunakannya bisa lemah (yaitu, menampilkan tingkat kesalahan yang besar), tetapi selama kinerjanya tidak acak (menghasilkan tingkat …

28 machine-learning  theory  boosting 

Apa cara termudah untuk memahami peningkatan? Mengapa itu tidak meningkatkan penggolong yang sangat lemah "hingga tak terbatas" (kesempurnaan)?

23 machine-learning  boosting 

Saya memiliki beberapa pertanyaan yang berkaitan erat tentang pelajar yang lemah dalam pembelajaran ensemble (misalnya meningkatkan). Ini mungkin terdengar bodoh, tetapi apa manfaat menggunakan yang lemah sebagai lawan dari pelajar yang kuat? (mis. mengapa tidak meningkatkan dengan metode pembelajaran "kuat"?) Apakah ada semacam kekuatan "optimal" untuk peserta didik yang lemah …

22 machine-learning  boosting  ensemble