Pertanyaan yang diberi tag «penalized»

Regresi LASSO menyusutkan koefisien ke nol, sehingga memberikan pemilihan model yang efektif. Saya percaya bahwa dalam data saya ada interaksi yang bermakna antara kovariat nominal dan kontinu. Namun tidak harus, 'efek utama' dari model yang sebenarnya bermakna (bukan nol). Tentu saja saya tidak tahu ini karena model yang sebenarnya tidak …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Regresi dihukum L1 (alias laso) disajikan dalam dua formulasi. Biarkan dua fungsi objektif menjadi Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Kemudian dua formulasi yang berbeda adalah argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 tunduk ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, dan, ekuivalen dengan argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. …

20 regression  lasso  penalized 

Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa kisaran nilai yang harus diperiksa? Apakah itu …

16 regression  lasso  regularization  ridge-regression  penalized 

Saya telah membaca di beberapa tempat bahwa R Squared bukan ukuran ideal ketika model cocok menggunakan LASSO. Namun, saya tidak tahu persis mengapa itu terjadi. Selain itu, dapatkah Anda merekomendasikan alternatif terbaik?

12 regression  lasso  r-squared  penalized 

Saya cukup baru dalam Pembelajaran Mesin / Pemodelan dan saya ingin latar belakang untuk masalah ini. Saya memiliki dataset di mana jumlah pengamatan adalah namun jumlah variabel adalah . Pertama apakah masuk akal untuk mempertimbangkan membangun model pada dataset seperti ini atau haruskah seseorang mempertimbangkan teknik pemilihan variabel untuk memulai …

12 regression  machine-learning  dimensionality-reduction  penalized 

Saya membaca slide Steven Scott tentang paket BSTS R (Anda dapat menemukannya di sini: slide ). Pada titik tertentu, ketika berbicara tentang memasukkan banyak regressor dalam model deret waktu struktural ia memperkenalkan spike dan slab prior dari koefisien regresi dan mengatakan bahwa mereka lebih baik dibandingkan dengan metode hukuman. Scott …

11 r  bayesian  feature-selection  penalized  bsts 

Misalkan saya memiliki dua estimator dan yang merupakan estimator konsisten dari parameter yang sama dan sedemikian rupa sehingga dengan dalam arti psd. Dengan demikian, asymptotically lebih efisien daripada . Kedua penaksir ini didasarkan pada fungsi kerugian yang berbeda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 …

11 regression  ridge-regression  shrinkage  penalized 

Saya tidak memiliki contoh atau tugas tertentu dalam pikiran. Saya baru menggunakan b-splines dan saya ingin mendapatkan pemahaman yang lebih baik tentang fungsi ini dalam konteks regresi. Mari kita asumsikan bahwa kita ingin menilai hubungan antara variabel respon dan beberapa prediktor x 1 , x 2 , . . . …

10 regression  multiple-regression  splines  polynomial  penalized 

Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan softmaxfungsi di lapisan terakhir. Dengan demikian, saya dapat menggunakan 2 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Saya punya pertanyaan tentang cara memodelkan teks pada jumlah data, khususnya bagaimana saya bisa menggunakan lassoteknik ini untuk mengurangi fitur. Katakanlah saya punya N artikel online dan jumlah tayangan laman untuk setiap artikel. Saya telah mengekstrak 1 gram dan 2 gram untuk setiap artikel dan saya ingin menjalankan regresi lebih …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized