Pertanyaan yang diberi tag «boosting»

Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau artikel) untuk menggunakan jaringan saraf sebagai pembelajar dasar.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Saya sedang membaca laporan dari solusi memenangkan kompetisi Kaggle ( Klasifikasi Malware ). Laporan ini dapat ditemukan di posting forum ini . Masalahnya adalah masalah klasifikasi (sembilan kelas, metrik adalah kehilangan logaritmik) dengan 10.000 elemen di set kereta, 10.000 elemen di set tes. Selama kompetisi, model dievaluasi terhadap 30% dari …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Setelah melakukan analisis komponen utama (PCA), saya ingin memproyeksikan vektor baru ke ruang PCA (yaitu menemukan koordinatnya dalam sistem koordinat PCA). Saya telah menghitung PCA dalam bahasa R menggunakan prcomp. Sekarang saya harus bisa mengalikan vektor saya dengan matriks rotasi PCA. Haruskah komponen utama dalam matriks ini disusun dalam baris …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Saya telah membaca berbagai (tampaknya) pernyataan yang bertentangan apakah AdaBoost (atau teknik meningkatkan lainnya) kurang atau lebih cenderung overfitting dibandingkan dengan metode pembelajaran lainnya. Apakah ada alasan bagus untuk memercayai yang satu atau yang lain? Jika itu tergantung, apa itu tergantung? Apa alasan bahwa AdaBoost kurang / lebih rentan terhadap …

20 machine-learning  boosting 

Saya mencoba memahami cara kerja XGBoost. Saya sudah mengerti bagaimana gradien meningkatkan kerja pohon di Python sklearn. Yang tidak jelas bagi saya adalah apakah XGBoost bekerja dengan cara yang sama, tetapi lebih cepat, atau jika ada perbedaan mendasar antara itu dan implementasi python. Ketika saya membaca makalah ini http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Bagi …

20 scikit-learn  boosting  gbm  xgboost 

Pengaturan saya adalah sebagai berikut: Saya mengikuti garis pedoman dalam "Pemodelan Prediktif Terapan". Jadi saya telah memfilter fitur-fitur terkait dan berakhir dengan yang berikut: 4900 titik data di set latihan dan 1600 titik data di set tes. Saya memiliki 26 fitur dan targetnya adalah variabel kontinu. Saya menerapkan validasi silang …

20 machine-learning  boosting  overfitting 

Decision stump adalah pohon keputusan dengan hanya satu split. Ini juga dapat ditulis sebagai fungsi piecewise. Misalnya, anggap adalah vektor, dan adalah komponen pertama , dalam pengaturan regresi, beberapa tunggul keputusan dapatxxxx1x1x_1xxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases} Tetapi apakah ini model linier? …

19 machine-learning  cart  linear  boosting 

The tingkat belajar parameter ( ) di Gradient Meningkatkan menyusut kontribusi masing-masing model dasar baru -typically sebuah pohon yang dangkal yang ditambahkan dalam seri. Itu terbukti secara dramatis meningkatkan akurasi set tes, yang dapat dimengerti karena dengan langkah-langkah yang lebih kecil, minimum fungsi kerugian dapat dicapai lebih tepat. ν∈ [ …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

Dalam buku teks dan ceramah youtube saya belajar banyak tentang model berulang seperti meningkatkan, tapi saya tidak pernah melihat apa pun tentang mendapatkan interval prediksi. Validasi silang digunakan untuk yang berikut: Pemilihan model : Coba model yang berbeda dan pilih yang paling cocok. Dalam hal meningkatkan, gunakan CV untuk memilih …

19 cross-validation  boosting  prediction-interval 

Saya telah membaca karya Alexandru Niculescu-Mizil dan Rich Caruana " Memperoleh Kemungkinan yang Dikalibrasi dari Peningkatan " dan diskusi di utas ini . Namun, saya masih mengalami kesulitan memahami dan menerapkan skala logistik atau Platt untuk mengkalibrasi output multi-class saya meningkatkan classifier (dorongan lembut dengan tunggul keputusan). Saya agak akrab …

19 machine-learning  boosting 

Secara umum, dalam masalah klasifikasi di mana tujuannya adalah untuk secara akurat memprediksi keanggotaan kelas out-of-sample, kapan saya harus tidak menggunakan ensemble classifier? Pertanyaan ini terkait erat dengan Mengapa tidak selalu menggunakan pembelajaran ensemble? . Pertanyaan itu menanyakan mengapa kita tidak menggunakan ansambel sepanjang waktu. Saya ingin tahu apakah ada …

17 classification  boosting  ensemble  bagging 

Ada banyak posting blog, video YouTube, dll. Tentang ide mengantongi atau meningkatkan pohon. Pemahaman umum saya adalah bahwa kode pseudo untuk masing-masing adalah: Mengantongi: Ambil N sampel acak x% dari sampel dan y% dari fitur Paskan model Anda (misalnya, pohon keputusan) pada masing-masing N Prediksi dengan setiap N Rata-rata prediksi …

17 cart  boosting  xgboost  bagging 

Pertanyaan Saya berjuang untuk memahami bagaimana prediksi disimpan dalam interval ketika melakukan klasifikasi biner dengan Gradient Boosting.[0,1][0,1][0,1] Asumsikan kita sedang mengerjakan masalah klasifikasi biner, dan fungsi tujuan kita adalah hilangnya log, , di mana adalah variabel target dan adalah model kami saat ini.y ∈ { 0 , 1 } H−∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xsaya))+(1-ysaya)catatan⁡(1-Hm(xsaya))-\sum …

17 logistic  classification  boosting 

Dapatkah mesin peningkat gradien Friedman mencapai kinerja yang lebih baik daripada Hutan Acak Breiman ? Jika demikian, dalam kondisi apa atau jenis data apa yang dapat membuat gbm lebih baik?

16 machine-learning  data-mining  random-forest  boosting 

Saya sedang berurusan dengan masalah klasifikasi biner yang diawasi. Saya ingin menggunakan paket GBM untuk mengklasifikasikan individu sebagai tidak terinfeksi / terinfeksi. Saya memiliki 15 kali lebih tidak terinfeksi daripada orang yang terinfeksi. Saya bertanya-tanya apakah model GBM menderita jika ukuran kelas tidak seimbang? Saya tidak menemukan referensi yang menjawab …

16 r  machine-learning  boosting  unbalanced-classes  gbm