Pertanyaan yang diberi tag «bagging»

Apa persamaan dan perbedaan antara 3 metode ini: Mengantongi, Meningkatkan, Susun? Mana yang terbaik? Dan mengapa? Bisakah Anda memberi saya contoh untuk masing-masing?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Definisi singkat untuk meningkatkan : Bisakah satu set pelajar yang lemah menciptakan pelajar yang kuat? Pelajar yang lemah didefinisikan sebagai penggolong yang hanya sedikit berkorelasi dengan klasifikasi yang benar (ia dapat memberi label contoh yang lebih baik daripada menebak secara acak). Definisi singkat dari Hutan Acak : Hutan Acak menumbuhkan …

51 machine-learning  random-forest  boosting  bagging 

Saya telah mengikuti kompetisi Kaggle untuk waktu yang lama dan saya menyadari bahwa banyak strategi kemenangan melibatkan menggunakan setidaknya satu dari "bertiga besar": mengantongi, meningkatkan dan menumpuk. Untuk regresi, daripada berfokus pada membangun satu model regresi terbaik, membangun beberapa model regresi seperti (linier) regresi linier, hutan acak, KNN, NN, dan …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Saya tidak mengerti persis apa yang dimaksud dengan ukuran simpul. Saya tahu apa itu simpul keputusan, tetapi bukan apa ukuran simpul itu.

20 machine-learning  random-forest  bagging 

Secara umum, dalam masalah klasifikasi di mana tujuannya adalah untuk secara akurat memprediksi keanggotaan kelas out-of-sample, kapan saya harus tidak menggunakan ensemble classifier? Pertanyaan ini terkait erat dengan Mengapa tidak selalu menggunakan pembelajaran ensemble? . Pertanyaan itu menanyakan mengapa kita tidak menggunakan ansambel sepanjang waktu. Saya ingin tahu apakah ada …

17 classification  boosting  ensemble  bagging 

Saya (kurang-lebih) pernah mendengar bahwa: bagging adalah teknik untuk mengurangi varians dari algoritma prediktor / estimator / pembelajaran. Namun, saya belum pernah melihat bukti matematis formal dari pernyataan ini. Adakah yang tahu mengapa ini benar secara matematis? Sepertinya fakta yang diterima / diketahui secara luas, sehingga saya akan mengharapkan referensi …

17 machine-learning  mathematical-statistics  bagging 

Ada banyak posting blog, video YouTube, dll. Tentang ide mengantongi atau meningkatkan pohon. Pemahaman umum saya adalah bahwa kode pseudo untuk masing-masing adalah: Mengantongi: Ambil N sampel acak x% dari sampel dan y% dari fitur Paskan model Anda (misalnya, pohon keputusan) pada masing-masing N Prediksi dengan setiap N Rata-rata prediksi …

17 cart  boosting  xgboost  bagging 

Saya menganalisis set data menggunakan model efek campuran dengan satu efek tetap (kondisi) dan dua efek acak (peserta karena desain subjek dan pasangan dalam). Model ini dihasilkan dengan lme4paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Selanjutnya, saya melakukan uji rasio kemungkinan model ini terhadap model tanpa efek tetap (kondisi) dan memiliki perbedaan yang signifikan. Ada …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Saat menggunakan bootstrap untuk evaluasi model, saya selalu berpikir sampel out-of-bag langsung digunakan sebagai set tes. Namun, ini tampaknya tidak menjadi kasus untuk pendekatan scikit-learning yang sudah ketinggalan zamanBootstrap , yang tampaknya membangun set tes dari menggambar dengan penggantian dari subset data out-of-bag. Apa alasan statistik di balik ini? Adakah …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Untuk meningkatkan algoritma, saya akan mengatakan bahwa mereka berevolusi dengan cukup baik. Pada awal 1995 AdaBoost diperkenalkan, kemudian setelah beberapa waktu itu Gradient Boosting Machine (GBM). Baru-baru ini, sekitar 2015 XGBoost diperkenalkan, yang akurat, menangani overfitting dan telah menjadi pemenang beberapa kompetisi Kaggle. Pada 2017 LightGBM diperkenalkan oleh Microsoft, ia …

14 random-forest  boosting  bagging 

Hutan acak adalah kumpulan pohon keputusan yang mengikuti konsep pengemasan. Ketika kita berpindah dari satu pohon keputusan ke pohon keputusan selanjutnya, lalu bagaimana informasi yang dipelajari oleh pohon keputusan terakhir bergerak maju ke yang berikutnya? Karena, sesuai pemahaman saya, tidak ada yang seperti model terlatih yang dibuat untuk setiap pohon …

14 machine-learning  random-forest  cart  bagging 

Dengan membaca pemodelan statistik yang sangat baik : Dua budaya (Breiman 2001) , kita dapat mengambil semua perbedaan antara model statistik tradisional (misalnya, regresi linier) dan algoritma pembelajaran mesin (misalnya, Bagging, Random Forest, Boosted trees ...). Breiman mengkritik model data (parametrik) karena didasarkan pada asumsi bahwa pengamatan dihasilkan oleh model …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran. Jadi, mengapa kita tidak menggunakannya sepanjang waktu? Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan prediktor yang lemah, jadi saya tidak tahu).

13 boosting  ensemble  bagging 

Jika kita mempertimbangkan pohon keputusan yang tumbuh penuh (yaitu pohon keputusan yang tidak ditandai), ia memiliki varian yang tinggi dan bias yang rendah. Hutan Bagging dan Random menggunakan model varians tinggi ini dan menggabungkannya untuk mengurangi varians dan dengan demikian meningkatkan akurasi prediksi. Baik Hutan Bagging dan Acak menggunakan sampling …

11 variance  random-forest  cart  bias  bagging 

Scikit belajar tampaknya menggunakan prediksi probabilistik alih-alih suara mayoritas untuk teknik agregasi model tanpa penjelasan mengapa (1.9.2.1. Hutan Acak). Apakah ada penjelasan yang jelas mengapa? Lebih lanjut apakah ada makalah yang bagus atau ulasan artikel untuk berbagai teknik agregasi model yang dapat digunakan untuk mengantongi Hutan Acak? Terima kasih!

10 random-forest  python  scikit-learn  aggregation  bagging