Pertanyaan yang diberi tag «ridge-regression»

Regularisasi Tikhonov dan regresi ridge adalah istilah yang sering digunakan seolah-olah mereka identik. Apakah mungkin untuk menentukan dengan tepat apa perbedaannya?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Saya seorang insinyur pembelajaran perangkat lunak mesin pembelajaran, terutama melalui kursus pembelajaran mesin Andrew Ng . Saat mempelajari regresi linier dengan regularisasi , saya menemukan istilah yang membingungkan: Regresi dengan regularisasi L1 atau regularisasi L2 LASO Regresi punggungan Jadi pertanyaan saya: Apakah regresi dengan regularisasi L1 persis sama dengan LASSO? …

33 regression  terminology  lasso  regularization  ridge-regression 

Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.

33 references  lasso  regularization  ridge-regression  elastic-net 

Catatan: Saya tahu bahwa L1 memiliki properti pemilihan fitur. Saya mencoba memahami yang mana yang harus dipilih ketika pemilihan fitur sama sekali tidak relevan. Bagaimana cara memutuskan regularisasi (L1 atau L2) mana yang akan digunakan? Apa pro & kontra dari masing-masing regularisasi L1 / L2? Apakah disarankan untuk pertama melakukan …

30 regression  lasso  regularization  ridge-regression 

Saya menggunakan glmnet untuk menghitung estimasi regresi ridge. Saya mendapatkan beberapa hasil yang membuat saya curiga bahwa glmnet benar-benar melakukan apa yang menurut saya benar. Untuk memeriksa ini saya menulis sebuah skrip R sederhana di mana saya membandingkan hasil regresi ridge yang dilakukan oleh resol dan yang di glmnet, perbedaannya …

28 r  ridge-regression  glmnet 

Saya punya beberapa pertanyaan tentang penalti punggungan dalam konteks kuadrat terkecil: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Ekspresi menunjukkan bahwa matriks kovarians X menyusut ke arah matriks diagonal, yang berarti bahwa (dengan asumsi bahwa variabel distandarisasi sebelum prosedur) korelasi antara variabel input akan diturunkan. Apakah interpretasi ini benar? 2) …

25 regression  pca  regularization  ridge-regression 

Jadi saya ditanya pertanyaan yang mengukur L1 (yaitu, laso) dan L2 (yaitu, regresi ridge) diperkirakan. Jawabannya adalah L1 = median dan L2 = rata-rata. Apakah ada jenis alasan intuitif untuk ini? Atau harus ditentukan secara aljabar? Jika demikian, bagaimana cara saya melakukan itu?

24 lasso  regularization  loss-functions  ridge-regression 

Beberapa fungsi dan perkiraan penalti dipelajari dengan baik, seperti LASSO ( ) dan Ridge ( ) dan bagaimana ini dibandingkan dalam regresi.L 2L1L1L_1L2L2L_2 Saya telah membaca tentang penalti Bridge, yang merupakan ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma} penalti umum Bandingkan dengan LASSO, yang memiliki γ=1γ=1\gamma = 1 , dan Ridge, dengan γ=2γ=2\gamma = 2 …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Pertimbangkan regresi ridge dengan kendala tambahan mengharuskan y memiliki satuan jumlah kuadrat (ekuivalen, satuan varians); jika diperlukan, orang dapat berasumsi bahwa y memiliki satuan jumlah kuadrat juga:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Berapa batas β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* ketika λ→∞λ→∞\lambda\to\infty ? Berikut adalah …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Misalkan saya mencoba untuk memperkirakan sejumlah besar parameter dari beberapa data dimensi tinggi, menggunakan beberapa jenis perkiraan yang diatur. Pembuat peraturan memperkenalkan beberapa bias ke dalam estimasi, tetapi masih bisa menjadi trade-off yang baik karena pengurangan varians harus lebih dari sekadar menebusnya. Masalahnya muncul ketika saya ingin memperkirakan interval kepercayaan …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Untuk model linier , istilah susutnya selalu .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Apa alasannya mengapa kami tidak mengecilkan bias (intersep) istilah ? Haruskah kita mengecilkan istilah bias dalam model jaringan saraf?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Pertimbangkan model standar untuk regresi berganda mana , jadi normalitas, homoscedasticity, dan tidak berkorelasi kesalahan tetap ada.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2sayan)ε∼N(0,σ2sayan)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Misalkan kita melakukan regresi ridge, dengan menambahkan jumlah kecil yang sama untuk …

21 regression  assumptions  ridge-regression 

Saya telah memahami bagaimana regresi ridge mengecilkan koefisien terhadap nol secara geometris. Selain itu saya tahu bagaimana membuktikannya dalam "Kasus Orthonormal" yang istimewa, tetapi saya bingung bagaimana cara kerjanya dalam kasus umum melalui "Dekomposisi Spektral."

20 regression  multiple-regression  regularization  ridge-regression  svd 

Saya menggunakan paket R yang dihukum untuk mendapatkan estimasi koefisien yang menyusut untuk dataset di mana saya memiliki banyak prediktor dan sedikit pengetahuan tentang yang mana yang penting. Setelah saya memilih parameter tuning L1 dan L2 dan saya puas dengan koefisien saya, apakah ada cara yang baik secara statistik untuk …

20 regression  lasso  stepwise-regression  ridge-regression 

Saya ingat pernah membaca di suatu tempat di web hubungan antara regresi ridge (dengan regularisasi) dan regresi PCA: saat menggunakan -regregulated regulated dengan hyperparameter , jika , maka regresi tersebut setara dengan menghapus Variabel PC dengan nilai eigen terkecil.ℓ 2 λ λ → 0ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ → 0λ→0\lambda \to 0 Mengapa ini …

19 regression  pca  regularization  ridge-regression