Pertanyaan yang diberi tag «boosting»

Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Untuk meningkatkan algoritma, saya akan mengatakan bahwa mereka berevolusi dengan cukup baik. Pada awal 1995 AdaBoost diperkenalkan, kemudian setelah beberapa waktu itu Gradient Boosting Machine (GBM). Baru-baru ini, sekitar 2015 XGBoost diperkenalkan, yang akurat, menangani overfitting dan telah menjadi pemenang beberapa kompetisi Kaggle. Pada 2017 LightGBM diperkenalkan oleh Microsoft, ia …

14 random-forest  boosting  bagging 

Seperti yang saya pernah mendengar tentang classifier AdaBoost berulang kali disebutkan di tempat kerja, saya ingin mendapatkan perasaan yang lebih baik tentang cara kerjanya dan ketika seseorang mungkin ingin menggunakannya. Saya telah maju dan membaca sejumlah makalah dan tutorial tentang hal itu yang saya temukan di Google, tetapi ada beberapa …

14 machine-learning  boosting  adaboost 

Ada varian peningkatan yang disebut gentleboost . Apa perbedaan lembut dari AdaBoost yang lebih terkenal ?

14 machine-learning  boosting 

Sebenarnya, saya pikir saya sudah mengerti apa yang bisa ditunjukkan dengan plot ketergantungan sebagian, tetapi menggunakan contoh hipotetis yang sangat sederhana, saya agak bingung. Dalam potongan kode berikut ini saya menghasilkan tiga variabel independen ( a , b , c ) dan satu variabel dependen ( y ) dengan c …

14 r  random-forest  boosting  partial-plot 

Saya mencoba meningkatkan gradien pada dataset dengan tingkat kejadian sekitar 1% menggunakan penambang Perusahaan, tetapi gagal menghasilkan output apa pun. Pertanyaan saya adalah, karena ini adalah pendekatan berbasis pohon keputusan, apakah itu benar untuk menggunakan meningkatkan gradien dengan kejadian rendah seperti itu?

14 boosting  unbalanced-classes  rare-events  gradient 

Dengan membaca pemodelan statistik yang sangat baik : Dua budaya (Breiman 2001) , kita dapat mengambil semua perbedaan antara model statistik tradisional (misalnya, regresi linier) dan algoritma pembelajaran mesin (misalnya, Bagging, Random Forest, Boosted trees ...). Breiman mengkritik model data (parametrik) karena didasarkan pada asumsi bahwa pengamatan dihasilkan oleh model …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran. Jadi, mengapa kita tidak menggunakannya sepanjang waktu? Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan prediktor yang lemah, jadi saya tidak tahu).

13 boosting  ensemble  bagging 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 5 bulan lalu . Apakah ada perpustakaan python yang bagus untuk pelatihan pohon keputusan yang didorong?

13 python  cart  boosting 

Ketika mengkode fitur kategorikal untuk regresi linier, ada aturan: jumlah boneka harus kurang dari jumlah total level (untuk menghindari kolinearitas). Apakah ada aturan yang sama untuk Pohon Keputusan (dikantongi, dikuatkan)? Saya menanyakan hal ini karena praktik standar dalam Python tampaknya adalah memperluas nlevel menjadi nboneka (sklearns ' OneHotEncoderatau Pandas' pd.get_dummies) …

13 categorical-data  random-forest  cart  boosting 

Ketika saya menemukan pembelajaran mesin, saya melihat berbagai teknik menarik seperti: secara otomatis menyesuaikan algoritma dengan teknik seperti grid search, mendapatkan hasil yang lebih akurat melalui kombinasi berbagai algoritma dari "tipe" yang sama, yaitu boosting, mendapatkan hasil yang lebih akurat melalui kombinasi algoritma yang berbeda (tetapi bukan jenis algoritma yang …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Saya menemukan banyak artikel yang menyatakan bahwa metode peningkatan sensitif terhadap outlier, tetapi tidak ada artikel yang menjelaskan mengapa. Dalam pengalaman saya, pencilan buruk untuk algoritma pembelajaran mesin, tetapi mengapa meningkatkan metode dipilih sebagai sangat sensitif? Bagaimana algoritma berikut akan memberi peringkat dalam hal sensitivitas terhadap pencilan: boost-tree, hutan acak, …

12 machine-learning  svm  outliers  cart  boosting 

Saya akan mengajukan pertanyaan terkait dengan ini . Saya menemukan contoh penulisan fungsi kehilangan kustom untuk xgboost di sini : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Saya telah mencoba memahami peningkatan gradien membaca berbagai blog, situs web dan mencoba menemukan jawaban saya dengan melihat contohnya misalnya kode sumber XGBoost. Namun, saya tidak bisa menemukan penjelasan yang dapat dimengerti tentang bagaimana algoritma peningkatan gradien menghasilkan estimasi probabilitas. Jadi, bagaimana mereka menghitung probabilitas?

12 machine-learning  classification  boosting  ensemble  xgboost 

Saya tahu bahwa Adaboost mencoba menghasilkan classifier yang kuat menggunakan kombinasi linear dari serangkaian classifier yang lemah. Namun, saya telah membaca beberapa makalah yang menyarankan Adaboost dan SVM bekerja secara harmonis (meskipun SVM adalah penggolong yang kuat) dalam kondisi dan kasus tertentu . Saya tidak dapat memahami dari perspektif arsitektur …

11 classification  svm  references  boosting