Pertanyaan yang diberi tag «xgboost»

Saya mencoba memahami perbedaan utama antara GBM dan XGBOOST. Saya mencoba untuk google itu, tetapi tidak dapat menemukan jawaban yang baik menjelaskan perbedaan antara kedua algoritma dan mengapa xgboost hampir selalu berkinerja lebih baik daripada GBM. Apa yang membuat XGBOOST begitu cepat?

40 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

Saya menjalankan model xgboost. Saya tidak tahu persis bagaimana menafsirkan output dari xgb.importance. Apa arti dari Penguatan, Penutupan, dan Frekuensi dan bagaimana kita menafsirkannya? Juga, apa arti Split, RealCover, dan RealCover%? Saya punya beberapa parameter tambahan di sini Apakah ada parameter lain yang dapat memberi tahu saya lebih lanjut tentang …

37 machine-learning  xgboost 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

XGBoost telah melakukan pekerjaan dengan baik, ketika berurusan dengan variabel dependen kategoris dan kontinu. Tapi, bagaimana cara memilih parameter yang dioptimalkan untuk masalah XGBoost? Ini adalah bagaimana saya menerapkan parameter untuk masalah Kaggle baru-baru ini: param <- list( objective = "reg:linear", booster = "gbtree", eta = 0.02, # 0.06, #0.01, …

27 r  python  xgboost 

Saya mencoba memahami mana yang lebih baik (lebih akurat, terutama dalam masalah klasifikasi) Saya telah mencari artikel yang membandingkan LightGBM dan XGBoost tetapi hanya menemukan dua: https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - yang hanya tentang kecepatan tetapi tidak akurat. https://github.com/Microsoft/LightGBM/wiki/Experiments - yang berasal dari penulis LightGBM dan tidak heran LightGBM menang di sana. Dalam …

25 xgboost 

Saya tidak jelas tentang beberapa konsep: XGBoost mengkonversi pembelajar yang lemah menjadi pembelajar yang kuat. Apa keuntungan melakukan ini? Menggabungkan banyak siswa yang lemah dan bukannya hanya menggunakan satu pohon? Hutan Acak menggunakan berbagai sampel dari pohon untuk membuat pohon. Apa keuntungan dari metode ini daripada hanya menggunakan pohon tunggal?

25 machine-learning  data-mining  random-forest  decision-trees  xgboost 

Saat ini saya menggunakan XGBoost pada kumpulan data dengan 21 fitur (dipilih dari daftar sekitar 150 fitur), kemudian dikodekan satu kali untuk mendapatkan ~ 98 fitur. Beberapa dari 98 fitur ini agak redundan, misalnya: variabel (fitur) juga muncul sebagai BSEBUAHAA danCBSEBUAHBA\frac{B}{A} .CSEBUAHCA\frac{C}{A} Pertanyaan saya adalah: Bagaimana ( Jika? ) Boosted …

23 feature-selection  correlation  xgboost  gbm 

Apakah ada cara untuk menambahkan lebih penting ke poin yang lebih baru saat menganalisis data dengan xgboost?

22 xgboost  weighted-data 

Saya memiliki 3 kelas dengan distribusi ini: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 Dan saya menggunakan xgboostuntuk klasifikasi. Saya tahu bahwa ada parameter bernama scale_pos_weight. Tetapi bagaimana penanganannya untuk kasus 'multi-kelas', dan bagaimana cara mengaturnya dengan benar?

20 classification  xgboost  multiclass-classification  unbalanced-classes 

Saat ini saya menggunakan XGBoost untuk prediksi risiko, tampaknya melakukan pekerjaan yang baik di departemen klasifikasi biner tetapi output probabilitas jauh, yaitu, mengubah nilai fitur dalam pengamatan dengan jumlah yang sangat kecil dapat membuat probabilitas output melonjak dari 0,5 ke 0,99. Saya hampir tidak melihat output di kisaran 0,6-0,8. Dalam …

15 machine-learning  classification  xgboost  probability  probability-calibration 

Masalah 1: Saya bingung dengan deskripsi LightGBM mengenai cara pohon diperluas. Mereka menyatakan: Sebagian besar algoritma pembelajaran pohon keputusan menumbuhkan pohon berdasarkan level (kedalaman), seperti gambar berikut: Pertanyaan 1 : Algoritma "paling" mana yang diimplementasikan dengan cara ini? Sejauh yang saya tahu C4.5 dan CART menggunakan DFS. XGBoost menggunakan BFS. …

14 decision-trees  xgboost 

Sejauh yang saya tahu, untuk melatih pembelajaran membuat peringkat model, Anda perlu memiliki tiga hal dalam dataset: label atau relevansi grup atau id permintaan vektor fitur Misalnya, dataset Microsoft Learning to Rank menggunakan format ini (label, id grup, dan fitur). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 2:0.166667 ... …

14 search  ranking  xgboost  gbm 

Saya mencoba menjalankan xgboost di scikit belajar. Dan saya hanya menggunakan Panda untuk memuat data ke dalam dataframe. Bagaimana saya bisa menggunakan panda df dengan xgboost. Saya bingung dengan rutin DMatrix yang diperlukan untuk menjalankan xgboost algo.

14 scikit-learn  pandas  xgboost 

Jika saya melatih model saya menggunakan kode berikut: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) selesai dalam waktu sekitar 1 menit. Jika saya melatih model saya menggunakan metode …

13 machine-learning  python  decision-trees  xgboost  efficiency 

Saya mencoba menggunakan fitur penting dari Random Forests untuk melakukan beberapa pilihan fitur empiris untuk masalah regresi di mana semua fitur bersifat kategoris dan banyak dari mereka memiliki banyak tingkatan (pada urutan 100-1000). Mengingat bahwa pengodean satu-panas membuat variabel dummy untuk setiap level, kepentingan fitur adalah untuk setiap level dan …

12 scikit-learn  feature-selection  random-forest  xgboost  categorical-data