Pertanyaan yang diberi tag «xgboost»

Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan parameter xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Ada beberapa implementasi model keluarga GBDT seperti: GBM XGBoost LightGBM Catboost. Apa perbedaan matematika antara implementasi yang berbeda ini? Catboost tampaknya mengungguli implementasi lainnya bahkan dengan hanya menggunakan parameter standarnya sesuai dengan tanda bangku ini , tetapi masih sangat lambat. Dugaan saya adalah bahwa catboost tidak menggunakan variabel dummi, sehingga …

33 boosting  xgboost 

Sebagai contoh, ambil fungsi objektif dari model XGBoost pada iterasi :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) di mana adalah fungsi kerugian, adalah keluaran pohon ke - dan adalah regularisasi. Salah satu (banyak) langkah utama untuk perhitungan cepat adalah perkiraan:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), di mana dan adalah turunan pertama dan kedua dari fungsi loss.gigig_ihihih_i Yang saya …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Saya memiliki dataset yang sangat tidak seimbang. Saya mencoba mengikuti saran penyetelan dan menggunakan scale_pos_weighttetapi tidak yakin bagaimana saya harus menyetelnya. Saya dapat melihat bahwa RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight jadi gradien sampel positif akan lebih berpengaruh. Namun, menurut makalah xgboost , statistik gradien selalu digunakan secara …

26 unbalanced-classes  xgboost 

The definisi parameter min_child_weight di xgboost diberikan sebagai: jumlah minimum contoh berat badan (goni) yang dibutuhkan pada anak. Jika langkah partisi pohon menghasilkan simpul daun dengan jumlah bobot contoh kurang dari min_child_weight, maka proses pembangunan akan berhenti mempartisi lebih lanjut. Dalam mode regresi linier, ini hanya sesuai dengan jumlah minimum …

23 machine-learning  xgboost  hessian 

Saya mencoba memahami cara kerja XGBoost. Saya sudah mengerti bagaimana gradien meningkatkan kerja pohon di Python sklearn. Yang tidak jelas bagi saya adalah apakah XGBoost bekerja dengan cara yang sama, tetapi lebih cepat, atau jika ada perbedaan mendasar antara itu dan implementasi python. Ketika saya membaca makalah ini http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Bagi …

20 scikit-learn  boosting  gbm  xgboost 

Saya bekerja dengan banyak algoritma: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear dan rbf), KNN, LDA dan XGBoost. Semuanya cukup cepat kecuali untuk SVM. Saat itulah saya mengetahui bahwa perlu penskalaan fitur untuk bekerja lebih cepat. Kemudian saya mulai bertanya-tanya apakah saya harus melakukan hal yang sama untuk algoritma lainnya.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Ada banyak posting blog, video YouTube, dll. Tentang ide mengantongi atau meningkatkan pohon. Pemahaman umum saya adalah bahwa kode pseudo untuk masing-masing adalah: Mengantongi: Ambil N sampel acak x% dari sampel dan y% dari fitur Paskan model Anda (misalnya, pohon keputusan) pada masing-masing N Prediksi dengan setiap N Rata-rata prediksi …

17 cart  boosting  xgboost  bagging 

Katakanlah kita memiliki masalah klasifikasi biner dengan sebagian besar fitur kategorikal. Kami menggunakan beberapa model non-linear (mis. XGBoost atau Random Forests) untuk mempelajarinya. Haruskah orang masih khawatir tentang multi-collinearity? Mengapa? Jika jawaban di atas benar, bagaimana seharusnya seseorang melawannya mengingat dia menggunakan jenis model non-linear ini?

13 classification  random-forest  multicollinearity  xgboost 

Saya telah mencoba memahami peningkatan gradien membaca berbagai blog, situs web dan mencoba menemukan jawaban saya dengan melihat contohnya misalnya kode sumber XGBoost. Namun, saya tidak bisa menemukan penjelasan yang dapat dimengerti tentang bagaimana algoritma peningkatan gradien menghasilkan estimasi probabilitas. Jadi, bagaimana mereka menghitung probabilitas?

12 machine-learning  classification  boosting  ensemble  xgboost 

Baru-baru ini saya telah meninjau algoritma XGBoost dan saya perhatikan bahwa algoritma ini dapat menangani data yang hilang (tanpa memerlukan imputasi) dalam fase pelatihan. Saya bertanya-tanya apakah XGboost dapat menangani data yang hilang (tanpa memerlukan imputasi) ketika digunakan untuk meramalkan pengamatan baru atau perlu untuk menyalahkan data yang hilang. Terima …

11 machine-learning  missing-data  data-imputation  xgboost 

Saya tahu bagaimana menerapkan fungsi objektif linear dan peningkatan linear di XGBoost. Pertanyaan konkret saya adalah: ketika algoritme itu cocok dengan residual (atau gradien negatif) apakah ia menggunakan satu fitur pada setiap langkah (yaitu model univariat) atau semua fitur (model multivariat)? Referensi apa pun untuk dokumentasi tentang peningkatan linear di …

9 regression  machine-learning  boosting  xgboost 

ahli! Mungkin, Anda tahu cara menghitung interval kepercayaan untuk xgboost? Formula klasik dengan t-distribusi tidak dapat membantu, karena data saya tidak terdistribusi secara normal. Atau tidak masalah? Jika Anda menyarankan beberapa literatur, itu akan sangat berguna, tetapi pendekatan dalam R dan Python (dalam konteks perpustakaan xgb) juga bagus. Mungkin terlihat …

8 confidence-interval  xgboost