Pertanyaan yang diberi tag «ensemble»

Hutan Acak bekerja dengan membuat ansambel pohon keputusan tempat setiap pohon dibuat menggunakan sampel bootstrap dari data pelatihan asli (sampel dari kedua variabel input dan pengamatan). Dapatkah proses serupa diterapkan untuk regresi linier? Buat model regresi linier k menggunakan sampel bootstrap acak untuk setiap regresi k Apa alasan TIDAK untuk …

14 regression  predictive-models  ensemble 

Saya ingin membuat hutan acak menggunakan proses berikut: Bangun pohon pada sampel data dan fitur acak menggunakan penguatan informasi untuk menentukan pemisahan Hentikan simpul daun jika melebihi kedalaman yang telah ditentukan ATAU perpecahan apa pun akan menghasilkan jumlah daun kurang dari minimum yang telah ditentukan Daripada menetapkan label kelas untuk …

14 classification  random-forest  lasso  ensemble 

Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran. Jadi, mengapa kita tidak menggunakannya sepanjang waktu? Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan prediktor yang lemah, jadi saya tidak tahu).

13 boosting  ensemble  bagging 

Saya mengerti secara teoritis (semacam) bagaimana mereka akan bekerja, tetapi saya tidak yakin bagaimana cara menggunakan metode ensemble (seperti voting, campuran tertimbang, dll.). Apa sumber daya yang baik untuk menerapkan metode ensemble? Apakah ada sumber daya khusus mengenai implementasi di Python? EDIT: Untuk menjernihkan beberapa berdasarkan diskusi pada komentar, saya …

13 machine-learning  python  ensemble 

Saya ingin membangun model regresi yang merupakan rata-rata dari beberapa model OLS, masing-masing berdasarkan pada subset dari data lengkap. Gagasan di balik ini didasarkan pada makalah ini . Saya membuat lipatan k dan membuat model OLS k, masing-masing pada data tanpa salah satu lipatan. Saya kemudian rata-rata koefisien regresi untuk …

13 regression  least-squares  ensemble 

Saya perlu mengotomatiskan peramalan time-series, dan saya tidak tahu sebelumnya fitur-fitur dari seri tersebut (musiman, tren, kebisingan, dll.). Tujuan saya bukan untuk mendapatkan model terbaik untuk setiap seri, tetapi untuk menghindari model yang sangat buruk. Dengan kata lain, untuk mendapatkan kesalahan kecil setiap kali bukanlah masalah, tetapi untuk mendapatkan kesalahan …

13 time-series  forecasting  arima  ensemble  exponential-smoothing 

Saya telah mencoba memahami peningkatan gradien membaca berbagai blog, situs web dan mencoba menemukan jawaban saya dengan melihat contohnya misalnya kode sumber XGBoost. Namun, saya tidak bisa menemukan penjelasan yang dapat dimengerti tentang bagaimana algoritma peningkatan gradien menghasilkan estimasi probabilitas. Jadi, bagaimana mereka menghitung probabilitas?

12 machine-learning  classification  boosting  ensemble  xgboost 

Baru-baru ini, saya menjadi tertarik pada model susun sebagai bentuk pembelajaran ansambel. Secara khusus, saya telah bereksperimen sedikit dengan beberapa dataset mainan untuk masalah regresi. Saya pada dasarnya telah mengimplementasikan individual "level 0" regressor, menyimpan prediksi output masing-masing regressor sebagai fitur baru untuk "meta-regressor" sebagai inputnya, dan menyesuaikan meta-regressor ini …

10 machine-learning  ensemble  stacking 

Metode ansambel berbasis pohon seperti Hutan Acak, dan turunan berikutnya (misalnya, hutan kondisional), semua dimaksudkan untuk berguna dalam apa yang disebut masalah "kecil n , p besar ", untuk mengidentifikasi kepentingan variabel relatif. Memang, ini tampaknya menjadi masalah, tetapi pertanyaan saya adalah seberapa jauh kemampuan ini dapat diambil? Bisakah satu, …

10 random-forest  small-sample  ensemble 

Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Saya membaca Pembelajaran Mesin Langsung dengan Scikit-Learn dan TensorFlow: Konsep, Alat, dan Teknik untuk Membangun Sistem yang Cerdas . Maka saya tidak dapat menemukan perbedaan antara pemungutan suara keras dan pemungutan suara lunak dalam konteks untuk metode berbasis ansambel. Saya mengutip deskripsi mereka dari buku. Dua gambar pertama dari atas …

9 machine-learning  ensemble 

Dalam semua kertas hutan acak (regresi) yang saya baca, ketika tiba saatnya untuk mengumpulkan prediksi semua pohon, kami mengambil nilai rata-rata sebagai prediksi. Pertanyaan saya adalah mengapa kita melakukan itu? Apakah ada justifikasi statistik untuk mengambil rata-rata? EDIT: Untuk mengklarifikasi pertanyaan, saya tahu dimungkinkan untuk menggunakan fungsi agregasi lainnya (kami …

8 regression  random-forest  ensemble 

Masalah saya adalah ini: Saya memiliki ansambel prediktor yang masing-masing menghasilkan distribusi melalui serangkaian kelas. Apa yang ingin saya lakukan adalah terlebih dahulu memiliki informasi non-informatif tentang bagaimana penampilan label ini, dan kemudian memperbaruinya dengan prediksi masing-masing anggota ensemble. Jadi saya berpikir untuk menggunakan Dirichlet non-informatif sebelumnya, yang kemudian saya …

8 bayesian  ensemble  dirichlet-distribution 

Bisakah kita menggeneralisasi semua metode ansambel dengan menggunakan voting? Apakah metode peningkatan juga menggunakan pemungutan suara untuk memasukkan siswa yang lemah ke dalam model akhir? Pemahaman saya tentang teknik ini: Boosting: Terus menambahkan pelajar yang lemah untuk meningkatkan poin data yang tidak diklasifikasikan dengan benar. Teknik ensemble: Menggunakan banyak pelajar …

8 machine-learning  boosting  ensemble  gbm  voting-system 

Katakanlah saya memiliki tiga set data ukuran nnn setiap: y1y1y_1 = ketinggian orang dari AS saja y2y2y_2 = ketinggian pria dari seluruh dunia y3y3y_3 = Tinggi wanita dari seluruh dunia Dan saya membangun model linier untuk masing-masing faktor xixix_i, i=1,...,ki=1,...,ki = 1,..., k: y^j=β0+β1x1+β2x2+ϵjy^j=β0+β1x1+β2x2+ϵj\hat{y}_{j} = \beta_{0} + \beta_{1}x_{1} + \beta_{2}x_{2} …

8 regression  multiple-regression  ensemble  aggregation