Pertanyaan yang diberi tag «gradient-descent»

Situasi apa yang kita ketahui di mana gradient descent dapat ditunjukkan untuk menyatu (baik ke titik kritis atau ke minimum lokal / global) untuk fungsi non-cembung? Untuk SGD pada fungsi non-cembung, satu jenis bukti telah ditinjau di sini, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent  gradient  sgd  non-convex 

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 γγ\gammaλλ\lambdaTTTwjwjw_j Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node …

9 cart  regularization  boosting  gradient-descent  overfitting 

Saya mencoba memahami bagaimana rnn dapat digunakan untuk memprediksi urutan dengan bekerja melalui contoh sederhana. Ini adalah jaringan sederhana saya, yang terdiri dari satu input, satu neuron tersembunyi, dan satu output: Neuron tersembunyi adalah fungsi sigmoid, dan output dianggap sebagai output linier sederhana. Jadi, saya pikir jaringan bekerja sebagai berikut: …

8 machine-learning  neural-networks  deep-learning  gradient-descent 

Saya mencoba mencari perkiraan MAP untuk model berdasarkan gradient descent. Sebelumnya saya adalah multivariat Gaussian dengan matriks kovarian yang dikenal. Pada tingkat konseptual, saya pikir saya tahu bagaimana melakukan ini, tetapi saya berharap bantuan dengan detailnya. Secara khusus, jika ada cara yang lebih mudah untuk mendekati masalah, maka itu akan …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Saya sedang mengerjakan model pembelajaran kategori online yang menggunakan penurunan gradien stokastik agar sesuai dengan model campuran Gauss. Model ini didasarkan pada model pembelajaran online yang digunakan dalam Toscano & McMurray (2010). Sementara gradient descent kelihatannya bekerja cukup baik untuk memperkirakan rata-rata dan frekuensi / kemungkinan pencampuran kategori, saya mengalami …

8 python  online  gaussian-mixture  gradient-descent