Pertanyaan yang diberi tag «gradient-descent»

Jika kita memproses 10 contoh dalam satu batch, saya mengerti kita bisa menjumlahkan kerugian untuk setiap contoh, tetapi bagaimana cara backpropagation dalam hal memperbarui bobot untuk masing-masing contoh? Sebagai contoh: Contoh 1 -> kerugian = 2 Contoh 2 -> kerugian = -2 Ini menghasilkan kerugian rata-rata 0 (E = 0), …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Saya akan mengajukan pertanyaan terkait dengan ini . Saya menemukan contoh penulisan fungsi kehilangan kustom untuk xgboost di sini : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Mencoba mempelajari beberapa Python dan Sklearn, tetapi untuk pekerjaan saya, saya perlu menjalankan regresi yang menggunakan distribusi kesalahan dari keluarga Poisson, Gamma, dan terutama Tweedie. Saya tidak melihat apa pun dalam dokumentasi tentang mereka, tetapi mereka berada di beberapa bagian dari distribusi R, jadi saya bertanya-tanya apakah ada yang melihat …

12 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

Baru-baru ini, kami melihat kemunculan Residual Neural Net, di mana, setiap lapisan terdiri dari modul komputasi dan koneksi pintasan yang mempertahankan input ke lapisan seperti output dari pameran lapisan ke-i: Jaringan memungkinkan untuk mengekstraksi fitur residu dan memungkinkan untuk kedalaman yang lebih dalam sambil lebih kuat terhadap masalah gradien menghilang, …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Ketika satu set persamaan tidak dapat diselesaikan secara analitis, maka kita dapat menggunakan algoritma gradient descent. Tetapi tampaknya ada juga metode simulasi Monte Carlo yang dapat digunakan untuk menyelesaikan masalah yang tidak memiliki solusi analitis. Bagaimana cara mengetahui kapan harus menggunakan gradient descent dan kapan menggunakan Monte Carlo? Atau apakah …

11 monte-carlo  gradient-descent 

Saya bertanya-tanya apakah mungkin untuk melatih SVM (katakanlah linear, untuk mempermudah) menggunakan backpropagation? Saat ini, aku di blok jalan, karena saya hanya bisa berpikir tentang menulis keluaran classifier ini sebagai f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Karenanya, ketika kita mencoba dan menghitung "backwards pass" (kesalahan yang diperbanyak) kita …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Ketika melatih model parameter (misalnya untuk memaksimalkan kemungkinan) melalui penurunan gradien stokastik pada beberapa set data, umumnya diasumsikan bahwa sampel pelatihan diambil di awal dari distribusi data pelatihan. Jadi, jika tujuannya adalah untuk memodelkan distribusi bersama , maka setiap sampel pelatihan harus diambil iid dari distribusi itu.P(X,Y)P(X,Y)P(X,Y)(xi,yi)(xi,yi)(x_i,y_i) Jika tujuannya adalah …

10 machine-learning  conditional-probability  reinforcement-learning  gradient-descent 

Saya baru mengenal Keras dan butuh bantuan Anda. Saya melatih jaringan syaraf dalam Keras dan fungsi kerugian saya adalah Perbedaan Kuadrat antara output dan nilai target. Saya ingin mengoptimalkan ini dengan menggunakan Gradient Descent. Setelah melalui beberapa tautan di internet, saya mengetahui bahwa ada 3 jenis gradient descents yang digunakan …

10 neural-networks  python  gradient-descent  keras  sgd 

Saya mencoba memahami optimasi gradient descent dalam algoritma ML (pembelajaran mesin). Saya mengerti bahwa ada fungsi biaya — di mana tujuannya adalah untuk meminimalkan kesalahan . Dalam skenario di mana bobot sedang dioptimalkan untuk memberikan kesalahan minimum, dan turunan parsial digunakan, apakah itu mengubah dan di setiap langkah atau merupakan …

9 optimization  gradient-descent 

Misalkan kita sedang melakukan contoh mainan pada gradient layak, meminimalkan fungsi kuadrat , menggunakan ukuran langkah tetap . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTA xxTSEBUAHxx^TAxα = 0,03α=0,03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]SEBUAH=[10,2;2,3]A=[10, 2; 2, 3] Jika …

9 r  machine-learning  optimization  gradient-descent 

Saya berpikir untuk menyelesaikan Lasso melalui metode subgradien vanilla. Tapi saya sudah membaca orang menyarankan untuk menggunakan gradien keturunan Proksimal. Adakah yang bisa menyoroti mengapa proksimal GD daripada metode subgradien vanilla digunakan untuk Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

Saya membaca entri Wikipedia yang berguna tentang peningkatan gradien ( https://en.wikipedia.org/wiki/Gradient_boosting ), dan mencoba memahami bagaimana / mengapa kita dapat memperkirakan residu dengan langkah penurunan paling curam (juga disebut pseudo-gradient) ). Adakah yang bisa memberi saya intuisi tentang bagaimana keturunan paling curam terkait / mirip dengan residu? Bantuan sangat dihargai!

9 self-study  gradient-descent 

Bagaimana seseorang dapat menentukan tingkat pembelajaran optimal untuk gradient descent? Saya berpikir bahwa saya dapat secara otomatis menyesuaikannya jika fungsi biaya mengembalikan nilai yang lebih besar daripada pada iterasi sebelumnya (algoritme tidak akan menyatu), tetapi saya tidak begitu yakin apa nilai baru yang harus diambil.

9 regression  machine-learning  gradient-descent 

Ada sejumlah situs web yang menggambarkan penurunan gradien untuk menemukan parameter untuk regresi linier sederhana (di sini adalah salah satunya). Google juga menjelaskannya dalam kursus ML baru (untuk umum) mereka. Namun di Wikipedia , rumus berikut untuk menghitung parameter disediakan: α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta …

9 regression  scikit-learn  gradient-descent