Pertanyaan yang diberi tag «ridge-regression»

Saya baru mengenal ridge regression. Ketika saya menerapkan regresi linear ridge, saya mendapat hasil berikut: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at …

9 ridge-regression 

\def\l{|\!|} Diberikan regresi net elastis minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 bagaimana rentang λλ\lambda dapat dipilih untuk validasi silang? Dalam α=1α=1\alpha=1 kasus (regresi ridge) rumus dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} dapat digunakan untuk memberikan derajat kebebasan yang setara untuk setiap …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Dalam kuadrat terkecil biasa, regresi vektor target terhadap seperangkat prediktor , matriks topi dihitung sebagaiyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t dan PRESS (prediksi jumlah residu kuadrat) dihitung oleh SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2 di mana adalah residu ke- dan adalah elemen diagonal dari matriks topi.eieie_iiiihiihiih_{ii} Dalam regresi ridge dengan koefisien …

9 regression  cross-validation  ridge-regression 

Sebagai lanjutan dari pertanyaan saya sebelumnya , solusi untuk persamaan normal untuk regresi ridge diberikan oleh: β^λ= (XTX+ λ I)- 1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Bisakah Anda menawarkan panduan untuk memilih parameter regularisasi . Selain itu, karena diagonal tumbuh dengan jumlah pengamatan , haruskah juga menjadi fungsi ?λλ\lambdaXTXXTXX^TXmmmλλ\lambdammm

9 regression  regularization  ridge-regression 

Saya baru mengenal ML. Saya diberitahu bahwa L2-normalisasi regresi ridge tidak menghukum intersepsi . Seperti dalam fungsi biaya: Istilah normalisasi L2 \ lambda \ sum_ { j = 1} ^ {n} {\ theta_ {j} ^ {2}} hanya jumlah dari j = 1 ke n , bukan dari j = 0 …

8 machine-learning  ridge-regression 

Adakah yang bisa memberikan pandangan intuitif tentang mengapa lebih baik memiliki beta yang lebih kecil? Untuk LASSO saya bisa mengerti itu, ada komponen pemilihan fitur di sini. Lebih sedikit fitur membuat model lebih sederhana dan karena itu lebih kecil kemungkinannya untuk pas. Namun, untuk punggungan, semua fitur (faktor) disimpan. Hanya …

8 regression  lasso  ridge-regression  shrinkage 

Saya bertanya-tanya tentang kehalusan kisi optimal dan apa hubungan antara kehalusan kisi-kisi dan overfitting dalam metode regularisasi seperti LASSO, regresi ridge atau jaring elastis. Misalkan saya ingin mencocokkan model regresi menggunakan LASSO dengan sampel 500 pengamatan (saya tidak punya data; ini hanya sebuah contoh). Misalkan saya punya (A) grid dengan …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Saya mencoba menentukan alfa apa yang akan digunakan dalam glmnetfungsi saya , tetapi file bantuan memberitahu saya: Perhatikan bahwa cv.glmnet TIDAK mencari nilai untuk alpha. Nilai spesifik harus diberikan, jika alpha = 1 diasumsikan secara default. Jika pengguna ingin memvalidasi silang alpha juga, mereka harus memanggil cv.glmnet dengan vektor foldid …

8 r  lasso  ridge-regression  glmnet 

Saya memiliki data yang menggambarkan seberapa sering suatu peristiwa berlangsung selama satu jam ("angka per jam", nph) dan berapa lama acara berlangsung ("durasi dalam detik per jam", dph). Ini adalah data asli: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, 27.8399999994814, 15.3750000002237, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

Saya mencoba mencari perkiraan MAP untuk model berdasarkan gradient descent. Sebelumnya saya adalah multivariat Gaussian dengan matriks kovarian yang dikenal. Pada tingkat konseptual, saya pikir saya tahu bagaimana melakukan ini, tetapi saya berharap bantuan dengan detailnya. Secara khusus, jika ada cara yang lebih mudah untuk mendekati masalah, maka itu akan …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Saya memiliki dua implementasi berbeda ridgedi MATLAB. Hanya satu x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (seperti yang terlihat di halaman regresi ridge Wikipedia ), denganII\mathbf{I} menjadi matriks identitas kolom ukuran (AA\mathbf{A}) ××\times kolom (AA\mathbf{A}), dan Saya hanya memanggil "punggungan" Matlab dengan x = ridge(A, b, lambda) Masalah saya adalah keduanya menghasilkan …

8 matlab  ridge-regression  sparse 

Adakah yang tahu cara menghitung interval prediksi untuk regresi ridge? dan apa hubungannya dengan interval prediksi regresi OLS?

8 ridge-regression  prediction-interval