Pertanyaan yang diberi tag «boosting»

Ini adalah fungsi kerugian penyimpangan binomial scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() …

11 machine-learning  scikit-learn  boosting  loss-functions 

Apakah ada cara untuk mendapatkan skor kepercayaan (kita dapat menyebutnya juga nilai kepercayaan atau kemungkinan) untuk setiap nilai yang diprediksi saat menggunakan algoritma seperti Random Forests atau Extreme Gradient Boosting (XGBoost)? Katakanlah skor kepercayaan ini akan berkisar dari 0 hingga 1 dan menunjukkan seberapa yakin saya tentang prediksi tertentu . …

11 r  regression  random-forest  prediction  boosting 

Saya ingin menerapkan Adaboost menggunakan Decision Stump. Benarkah membuat banyak tunggakan keputusan seperti fitur kumpulan data kami di setiap iterasi Adaboost? Misalnya, jika saya memiliki kumpulan data dengan 24 fitur, haruskah saya memiliki 24 class stump classifier di setiap iterasi? Atau haruskah saya secara acak memilih beberapa fitur dan membuat …

11 machine-learning  classification  cart  boosting 

Dalam bagian 7 dari makalah Hutan Acak (Breiman, 1999), penulis menyatakan dugaan berikut: "Adaboost is a Random Forest". Adakah yang membuktikan, atau membantah ini? Apa yang telah dilakukan untuk membuktikan atau menyangkal postingan ini tahun 1999?

10 machine-learning  random-forest  boosting 

Saya telah membaca sedikit tentang meningkatkan algoritma untuk tugas klasifikasi dan Adaboost pada khususnya. Saya memahami bahwa tujuan Adaboost adalah untuk mengambil beberapa "pelajar yang lemah" dan, melalui serangkaian iterasi pada data pelatihan, mendorong pengklasifikasi untuk belajar memprediksi kelas yang modelnya berulang kali membuat kesalahan. Namun, saya bertanya-tanya mengapa begitu …

10 machine-learning  classification  algorithms  boosting 

Demi contoh sederhana berasumsi bahwa ada dua model regresi linier Model 1 memiliki tiga prediktor, x1a, x2b, danx2c Model 2 memiliki tiga prediktor dari model 1 dan dua prediktor tambahan x2adanx2b Ada persamaan regresi populasi di mana varians populasi yang dijelaskan adalah untuk Model 1 dan untuk Model 2. Varian …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Penguatan pohon gradien seperti yang diusulkan oleh Friedman menggunakan pohon keputusan dengan Jsimpul terminal (= daun) sebagai pelajar dasar. Ada beberapa cara untuk menumbuhkan pohon dengan Jsimpul-simpul yang tepat misalnya seseorang dapat menumbuhkan pohon tersebut dengan cara pertama yang dalam atau dengan cara pertama yang luas, ... Apakah ada cara …

10 r  cart  boosting 

Saya tahu bagaimana menerapkan fungsi objektif linear dan peningkatan linear di XGBoost. Pertanyaan konkret saya adalah: ketika algoritme itu cocok dengan residual (atau gradien negatif) apakah ia menggunakan satu fitur pada setiap langkah (yaitu model univariat) atau semua fitur (model multivariat)? Referensi apa pun untuk dokumentasi tentang peningkatan linear di …

9 regression  machine-learning  boosting  xgboost 

Pertanyaan: Apa perbedaan antara pohon regresi yang dikuatkan (BRT) dan model yang dikembangkan secara umum (GBM)? Bisakah mereka digunakan secara bergantian? Apakah satu bentuk khusus dari yang lain? Mengapa Ridgeway menggunakan frasa "Generalized Boosted Regression Models" (GBM), untuk menggambarkan apa yang sebelumnya diusulkan Friedman sebagai "Gradient Boosting Machine" (GBM)? Kedua …

9 machine-learning  boosting  gbm 

Dalam Random Forest, masing-masing pohon ditanam secara paralel pada sampel pendamping data yang unik. Karena setiap sampel boostrap diharapkan mengandung sekitar 63% dari pengamatan unik, ini menyisakan sekitar 37% dari pengamatan, yang dapat digunakan untuk menguji pohon. Sekarang, tampaknya dalam Stochastic Gradient Boosting, ada juga perkiraan serupa dengan yang ada …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Saya menyadari bahwa ada 3 parameter penyetelan dalam model meningkatkan pohon, yaitu jumlah pohon (jumlah iterasi) parameter penyusutan jumlah pemisahan (ukuran masing-masing pohon penyusun) Pertanyaan saya adalah: untuk setiap parameter penyetelan, bagaimana saya harus menemukan nilai optimalnya? Dan metode apa? Perhatikan bahwa: parameter susut dan jumlah parameter pohon beroperasi bersama, …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Saya selalu berlangganan kearifan rakyat bahwa mengurangi tingkat pembelajaran dalam gbm (gradient boosted tree model) tidak merusak kinerja sampel dari model. Hari ini, saya tidak begitu yakin. Saya memasang model (meminimalkan jumlah kesalahan kuadrat) ke dataset perumahan boston . Berikut adalah sebidang kesalahan dengan jumlah pohon pada 20 persen data …

9 machine-learning  boosting  out-of-sample 

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 γγ\gammaλλ\lambdaTTTwjwjw_j Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node …

9 cart  regularization  boosting  gradient-descent  overfitting 

Berdasarkan Gradient Boosting Tree vs Random Forest . GBDT dan RF menggunakan strategi berbeda untuk mengatasi bias dan varians. Pertanyaan saya adalah apakah saya bisa membuat sampel ulang dataset (dengan penggantian) untuk melatih beberapa GBDT dan menggabungkan prediksi mereka sebagai hasil akhir? Ini sama dengan membangun hutan acak menggunakan GBDT …

8 random-forest  cart  boosting  bagging  gradient