Pertanyaan yang diberi tag «gradient»

Saat belajar tentang Peningkatan Gradien, saya belum pernah mendengar tentang kendala mengenai sifat-sifat "classifier lemah" yang digunakan metode untuk membangun dan membuat model ansambel. Namun, saya tidak bisa membayangkan aplikasi GB yang menggunakan regresi linier, dan sebenarnya ketika saya telah melakukan beberapa tes - tidak berhasil. Saya sedang menguji pendekatan …

35 regression  machine-learning  boosting  ensemble  gradient 

Saya mencoba meningkatkan gradien pada dataset dengan tingkat kejadian sekitar 1% menggunakan penambang Perusahaan, tetapi gagal menghasilkan output apa pun. Pertanyaan saya adalah, karena ini adalah pendekatan berbasis pohon keputusan, apakah itu benar untuk menggunakan meningkatkan gradien dengan kejadian rendah seperti itu?

14 boosting  unbalanced-classes  rare-events  gradient 

Masalahnya adalah: Turunkan gradien sehubungan dengan lapisan input untuk jaringan saraf lapisan tersembunyi tunggal menggunakan sigmoid untuk input -> hidden, softmax untuk hidden -> output, dengan kehilangan entropi silang. Saya dapat melewati sebagian besar derivasi menggunakan aturan rantai tetapi saya tidak yakin tentang bagaimana sebenarnya "rantai" mereka bersama-sama. Tentukan beberapa …

9 neural-networks  gradient 

Situasi apa yang kita ketahui di mana gradient descent dapat ditunjukkan untuk menyatu (baik ke titik kritis atau ke minimum lokal / global) untuk fungsi non-cembung? Untuk SGD pada fungsi non-cembung, satu jenis bukti telah ditinjau di sini, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent  gradient  sgd  non-convex 

Berdasarkan Gradient Boosting Tree vs Random Forest . GBDT dan RF menggunakan strategi berbeda untuk mengatasi bias dan varians. Pertanyaan saya adalah apakah saya bisa membuat sampel ulang dataset (dengan penggantian) untuk melatih beberapa GBDT dan menggabungkan prediksi mereka sebagai hasil akhir? Ini sama dengan membangun hutan acak menggunakan GBDT …

8 random-forest  cart  boosting  bagging  gradient 

Saya membuat jaringan saraf convolutional dan saya ingin memeriksa bahwa gradien saya dihitung dengan benar menggunakan pengecekan gradien numerik. Pertanyaannya, seberapa dekat cukup dekat? Fungsi pengecekan saya hanya memuntahkan turunan yang dihitung, turunan yang diperkirakan secara numerik, perbedaan antara keduanya, dan apakah kedua nilai tersebut memiliki tanda yang sama (satu …

8 neural-networks  conv-neural-network  gradient