Pertanyaan yang diberi tag «hessian»

Ini adalah sesuatu yang telah mengganggu saya untuk sementara waktu, dan saya tidak dapat menemukan jawaban yang memuaskan secara online, jadi begini: Setelah meninjau satu set ceramah tentang optimasi cembung, metode Newton tampaknya menjadi algoritma yang jauh lebih unggul daripada gradient descent untuk menemukan solusi optimal secara global, karena metode …

132 machine-learning  optimization  gradient-descent  hessian 

Jika Hessians sangat baik untuk optimasi (lihat misalnya metode Newton ), mengapa berhenti di situ? Mari kita gunakan derivatif ketiga, keempat, kelima, dan keenam? Kenapa tidak?

29 optimization  gradient-descent  hessian 

The definisi parameter min_child_weight di xgboost diberikan sebagai: jumlah minimum contoh berat badan (goni) yang dibutuhkan pada anak. Jika langkah partisi pohon menghasilkan simpul daun dengan jumlah bobot contoh kurang dari min_child_weight, maka proses pembangunan akan berhenti mempartisi lebih lanjut. Dalam mode regresi linier, ini hanya sesuai dengan jumlah minimum …

23 machine-learning  xgboost  hessian