Pertanyaan yang diberi tag «elastic-net»

Apa pro dan kontra dari menggunakan LARS [1] dibandingkan menggunakan penurunan koordinat untuk menyesuaikan regresi linier yang diatur L1? Saya terutama tertarik pada aspek kinerja (masalah saya cenderung ada Ndalam ratusan ribu dan p<20.) Namun, wawasan lainnya juga akan dihargai. sunting: Karena saya telah memposting pertanyaan, chl telah dengan ramah …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Catatan: pertanyaan ini adalah repost, karena pertanyaan saya sebelumnya harus dihapus karena alasan hukum. Sambil membandingkan PROC CAMPURAN dari SAS dengan fungsi lmedari nlmepaket di R, saya menemukan beberapa perbedaan yang agak membingungkan. Lebih khusus lagi, derajat kebebasan dalam berbagai tes berbeda antara PROC MIXEDdan lme, dan saya bertanya-tanya mengapa. …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Apakah ada makalah atau buku bagus yang membahas tentang penggunaan penurunan koordinat untuk L1 (laso) dan / atau regularisasi jaring elastis untuk masalah regresi linier?

12 regression  references  lasso  regularization  elastic-net 

LASSO dan LASSO adaptif adalah dua hal yang berbeda, bukan? (Bagiku, hukumannya terlihat berbeda, tapi aku hanya memeriksa apakah aku melewatkan sesuatu.) Ketika Anda secara umum berbicara tentang jaring elastis, apakah case khusus LASSO atau LASSO adaptif? Paket glmnet mana yang dilakukan, asalkan Anda memilih alpha = 1? LASSO yang …

12 lasso  glmnet  elastic-net  oracle 

Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Adakah yang mencoba memverifikasi apakah pemasangan model Net Elastis dengan ElasticNetdi scikit-learn in Python dan glmnetdi R pada set data yang sama menghasilkan hasil aritmatika yang identik? Saya telah bereksperimen dengan banyak kombinasi parameter (karena dua fungsi berbeda dalam nilai default yang diteruskan ke argumen) dan juga menskalakan data, tetapi …

11 machine-learning  scikit-learn  glmnet  elastic-net 

Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih salah satunya. Selain itu, untuk masalah …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Seperti yang dinyatakan judul, saya mencoba mereplikasi hasil dari glmnet linear menggunakan pengoptimal LBFGS dari perpustakaan lbfgs. Pengoptimal ini memungkinkan kita untuk menambahkan istilah regularizer L1 tanpa harus khawatir tentang diferensiabilitas, selama fungsi objektif kami (tanpa istilah regularizer L1) adalah cembung. minβ∈Rp12n∥β0+Xβ−y∥22+αλ∥β∥1+12(1−α)λ∥β∥22minβ∈Rp12n‖β0+Xβ−y‖22+αλ‖β‖1+12(1−α)λ‖β‖22\min_{\beta \in \mathbb{R}^p} \frac{1}{2n}\Vert \beta_0 + X\beta - y …

10 r  regression  regularization  glmnet  elastic-net 

Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinearitas bukan. …

10 regression  lasso  elastic-net 

Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau membantu untuk merobohkan tabel dengan menggabungkan level faktor …

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

\def\l{|\!|} Diberikan regresi net elastis minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 bagaimana rentang λλ\lambda dapat dipilih untuk validasi silang? Dalam α=1α=1\alpha=1 kasus (regresi ridge) rumus dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} dapat digunakan untuk memberikan derajat kebebasan yang setara untuk setiap …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Saya bingung tentang cara yang benar untuk menulis jaring elastis. Setelah membaca beberapa makalah penelitian, tampaknya ada tiga bentuk 1) exp{ -λ1|βk| -λ2β2k}exp⁡{-λ1|βk|-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)exp{ -(λ1|βk| +λ2β2k)σ2√}exp⁡{-(λ1|βk|+λ2βk2)σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{\sqrt{\sigma^2}}\} 3)exp{ -(λ1|βk| +λ2β2k)2σ2}exp⁡{-(λ1|βk|+λ2βk2)2σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{2\sigma^2}\} Saya hanya tidak mengerti cara yang benar untuk menambahkan . Apakah ada dari ungkapan di atas yang benar?σ2σ2\sigma^2

8 bayesian  mathematical-statistics  gibbs  elastic-net 

Apa kerugian menggunakan jaring elastis dibandingkan dengan laso. Saya tahu bahwa jaring elastis dapat memilih kelompok variabel ketika mereka sangat berkorelasi. Itu tidak memiliki masalah memilih lebih dari prediktor ketika . Sedangkan laso jenuh ketika .nnnp ≫ np≫np \gg np ≫ np≫np \gg n Ketika ada prediktor yang sangat berkorelasi, …

8 lasso  elastic-net