Pertanyaan yang diberi tag «gbm»

Saya mencoba memahami perbedaan utama antara GBM dan XGBOOST. Saya mencoba untuk google itu, tetapi tidak dapat menemukan jawaban yang baik menjelaskan perbedaan antara kedua algoritma dan mengapa xgboost hampir selalu berkinerja lebih baik daripada GBM. Apa yang membuat XGBOOST begitu cepat?

40 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Saat ini saya menggunakan XGBoost pada kumpulan data dengan 21 fitur (dipilih dari daftar sekitar 150 fitur), kemudian dikodekan satu kali untuk mendapatkan ~ 98 fitur. Beberapa dari 98 fitur ini agak redundan, misalnya: variabel (fitur) juga muncul sebagai BSEBUAHAA danCBSEBUAHBA\frac{B}{A} .CSEBUAHCA\frac{C}{A} Pertanyaan saya adalah: Bagaimana ( Jika? ) Boosted …

23 feature-selection  correlation  xgboost  gbm 

Sejauh yang saya tahu, untuk melatih pembelajaran membuat peringkat model, Anda perlu memiliki tiga hal dalam dataset: label atau relevansi grup atau id permintaan vektor fitur Misalnya, dataset Microsoft Learning to Rank menggunakan format ini (label, id grup, dan fitur). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 2:0.166667 ... …

14 search  ranking  xgboost  gbm 

Latar Belakang: di xgboost yang iterasi mencoba untuk menyesuaikan pohon atas segala contoh yang meminimalkan tujuan berikut:f t ntttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] di mana adalah urutan pertama dan kedua, di atas estimasi terbaik kami sebelumnya (dari iterasi ):y t - 1gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, \hat{y}) dan adalah fungsi kerugian …

12 xgboost  gbm