Pertanyaan yang diberi tag «ridge-regression»

Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih salah satunya. Selain itu, untuk masalah …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Saya menerapkan beberapa data untuk menemukan solusi variabel terbaik dari model regresi menggunakan regresi ridge di R. Saya telah menggunakan lm.ridgedan glmnet(kapan alpha=0), tetapi hasilnya sangat berbeda terutama ketika lambda=0. Itu mengira bahwa kedua penduga parameter memiliki nilai yang sama. Jadi, apa masalahnya di sini? salam Hormat

11 r  regression  ridge-regression  glmnet 

Setelah membaca Bab 3 dalam Elemen Pembelajaran Statistik (Hastie, Tibshrani & Friedman), saya bertanya-tanya apakah mungkin untuk menerapkan metode penyusutan terkenal yang dikutip pada judul pertanyaan ini diberikan struktur kovarian, yaitu, meminimalkan (mungkin lebih umum) ) kuantitas (y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), (1)(y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) alih-alih yang …

11 lasso  ridge-regression 

Misalkan A menjadi matriks variabel independen dan B menjadi matriks dari nilai-nilai dependen. Dalam regresi ridge, kita mendefinisikan parameter sehingga: . Sekarang mari [usv] = svd (A) dan entri diagonal 's'. kita mendefinisikan derajat kebebasan (df) = . Regresi Ridge menyusut koefisien komponen varians rendah dan karenanya parameter mengontrol derajat …

11 ridge-regression 

Regresi Ridge dapat dinyatakan sebagai mana adalah label yang diprediksi , yang mengidentifikasi matriks, obyek kita mencoba untuk menemukan label untuk, dan yang matriks benda sedemikian rupa sehingga: y akudd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n × dn×dn \times dnnnxsaya= ( xsaya , 1, . . . , xsaya , …

11 regression  ridge-regression  kernel-trick 

Saya sedang mengerjakan beberapa proyek pemodelan prediktif dewasa ini: mencoba mempelajari suatu model dan membuat prediksi waktu nyata berdasarkan pada model yang saya pelajari secara offline. Saya mulai menggunakan regresi ridge baru-baru ini, karena saya membaca bahwa regularisasi dapat membantu mengurangi efek multikolinieritas. Namun, saya membaca blog ini hari ini. …

11 regression  prediction  multicollinearity  ridge-regression 

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Saya telah membaca deskripsi regresi ridge dalam Model Statistik Terapan Linier , edisi ke 5 bab 11. Regresi ridge dilakukan pada data lemak tubuh yang tersedia di sini . Buku teks cocok dengan output dalam SAS, di mana koefisien ditransformasikan kembali diberikan dalam model pas sebagai: Y= - 7.3978 + …

10 r  sas  ridge-regression 

Bagaimana cara melakukan regresi ridge non-negatif? Laso non-negatif tersedia di scikit-learn, tetapi untuk ridge, saya tidak dapat menegakkan non-negativitas beta, dan memang, saya mendapatkan koefisien negatif. Adakah yang tahu mengapa ini terjadi? Juga, dapatkah saya menerapkan punggungan dalam hal kuadrat terkecil reguler? Pindah ini ke pertanyaan lain: Dapatkah saya menerapkan …

10 regression  lasso  regularization  ridge-regression 

Saya mengerti bahwa kita dapat menggunakan regularisasi dalam masalah regresi kuadrat terkecil sebagai w∗= argminw[ ( Y - X w )T( y - X w ) + λ ∥ w ∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] dan bahwa masalah ini memiliki solusi bentuk tertutup seperti: w^= ( …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Saya keliru memahami klaim tentang metode regresi linier yang saya lihat di berbagai tempat. Parameter masalah adalah: Memasukkan: NNN data sampel p+1p+1p+1 jumlah masing-masing terdiri dari "respons" jumlah yiyiy_i dan ppp "prediktor" jumlah xijxijx_{ij} Hasil yang diinginkan adalah "kecocokan linear yang baik" yang memprediksi respons berdasarkan pada prediksi di mana …

10 regression  ridge-regression 

Saya sadar ini adalah praktik umum untuk membakukan fitur untuk ridge dan lasso regression, akan tetapi, apakah lebih praktis untuk menormalkan fitur pada skala (0,1) sebagai alternatif standardisasi z-skor untuk metode regresi ini?

9 normalization  lasso  standardization  ridge-regression 

Saya sedang mengerjakan validasi silang dari prediksi data saya dengan 200 subjek dan 1000 variabel. Saya tertarik regresi ridge karena jumlah variabel (saya ingin menggunakan) lebih besar dari jumlah sampel. Jadi saya ingin menggunakan estimator penyusutan. Berikut ini adalah contoh data: #random population of 200 subjects with 1000 variables M …

9 r  cross-validation  prediction  ridge-regression 

Saya sedang mengerjakan model biaya prediksi di mana usia pasien (kuantitas bilangan bulat yang diukur dalam tahun) adalah salah satu variabel prediktor. Hubungan nonlinear yang kuat antara usia dan risiko rawat inap jelas: Saya sedang mempertimbangkan penghalusan regresi penghalusan hukuman untuk usia pasien. Menurut The Elements of Statistics Learning (Hastie …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. \ | \ cdot \ | _2 adalah norma Euclidean dari suatu vektor.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ …

9 regression  least-squares  regularization  ridge-regression  underdetermined