Pertanyaan yang diberi tag «regularization»

Bagaimana cara melakukan regresi ridge non-negatif? Laso non-negatif tersedia di scikit-learn, tetapi untuk ridge, saya tidak dapat menegakkan non-negativitas beta, dan memang, saya mendapatkan koefisien negatif. Adakah yang tahu mengapa ini terjadi? Juga, dapatkah saya menerapkan punggungan dalam hal kuadrat terkecil reguler? Pindah ini ke pertanyaan lain: Dapatkah saya menerapkan …

10 regression  lasso  regularization  ridge-regression 

Saya mengerti bahwa kita dapat menggunakan regularisasi dalam masalah regresi kuadrat terkecil sebagai w∗= argminw[ ( Y - X w )T( y - X w ) + λ ∥ w ∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] dan bahwa masalah ini memiliki solusi bentuk tertutup seperti: w^= ( …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Saat ini sedang belajar regresi ridge dan saya agak bingung tentang hukuman model yang lebih kompleks (atau definisi model yang lebih kompleks). Dari apa yang saya mengerti, kompleksitas model tidak selalu berkorelasi dengan urutan polinomial. Jadi: adalah model yang lebih kompleks daripada:2 + 3 + 4 x2+ 5 x3+ 6 …

9 regression  regularization  hyperparameter 

Saya sedang mempelajari perbedaan antara regularisasi dalam regresi RKHS dan regresi linier, tetapi saya kesulitan memahami perbedaan penting antara keduanya. (xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_mminα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation} di mana, dengan beberapa penyalahgunaan notasi, entri i,ji,ji,j dari matriks kernel KKK adalah K(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} . Ini memberi α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. \ | \ cdot \ | _2 adalah norma Euclidean dari suatu vektor.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Misalkan saya punya satu sampel frekuensi dari 4 peristiwa yang mungkin: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 dan saya memiliki probabilitas yang diharapkan dari peristiwa saya terjadi: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dengan jumlah frekuensi yang diamati …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi silang tidak dapat mengidentifikasi overfitting sepenuhnya. Lalu saya menyebutkan regularisasi, tetapi …

9 cross-validation  regularization  overfitting 

Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi: l1 / l2 norma maks keluar berhenti lebih awal ... Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal? Misalnya, jika Anda menginginkan model yang jarang, …

9 neural-networks  regularization  dropout 

Dalam makalah seminal mereka 'Least Angle Regression' , Efron dkk menjelaskan modifikasi sederhana dari algoritma LARS yang memungkinkan untuk menghitung jalur regularisasi LASSO penuh. Saya telah mengimplementasikan varian ini dengan sukses dan biasanya memplot jalur output baik terhadap jumlah langkah (iterasi berurutan dari algoritma LARS) atau -norm dari koefisien regresi …

9 regression  lasso  regularization  lars 

Saya mengamati bahwa fungsi laso di MATLAB relatif lambat. Saya menjalankan banyak masalah regresi, dengan biasanya 1 hingga 100 prediktor dan 200 hingga 500 pengamatan. Dalam beberapa kasus, laso ternyata sangat lambat (untuk menyelesaikan masalah regresi butuh beberapa menit). Saya menemukan bahwa ini adalah kasus ketika prediktor sangat berkorelasi (misalnya, …

9 regression  feature-selection  regularization 

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 γγ\gammaλλ\lambdaTTTwjwjw_j Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node …

9 cart  regularization  boosting  gradient-descent  overfitting 

\def\l{|\!|} Diberikan regresi net elastis minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 bagaimana rentang λλ\lambda dapat dipilih untuk validasi silang? Dalam α=1α=1\alpha=1 kasus (regresi ridge) rumus dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} dapat digunakan untuk memberikan derajat kebebasan yang setara untuk setiap …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Sebagai lanjutan dari pertanyaan saya sebelumnya , solusi untuk persamaan normal untuk regresi ridge diberikan oleh: β^λ= (XTX+ λ I)- 1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Bisakah Anda menawarkan panduan untuk memilih parameter regularisasi . Selain itu, karena diagonal tumbuh dengan jumlah pengamatan , haruskah juga menjadi fungsi ?λλ\lambdaXTXXTXX^TXmmmλλ\lambdammm

9 regression  regularization  ridge-regression 

Ketika memikirkan histogram sebagai perkiraan fungsi kerapatan, apakah masuk akal untuk menganggap ukuran nampan sebagai parameter yang membatasi struktur lokal fungsi tersebut? Juga, adakah cara yang lebih baik untuk mengartikulasikan alasan ini?

8 machine-learning  distributions  regularization  histogram  binning