Pertanyaan yang diberi tag «ridge-regression»

Katakanlah saya ingin memperkirakan sejumlah besar parameter, dan saya ingin menghukum beberapa dari mereka karena saya percaya mereka harus memiliki sedikit efek dibandingkan dengan yang lain. Bagaimana cara saya memutuskan skema hukuman apa yang akan digunakan? Kapan regresi ridge lebih tepat? Kapan saya harus menggunakan laso?

167 regression  lasso  ridge-regression 

Saya membaca buku-buku tentang regresi linier. Ada beberapa kalimat tentang norma L1 dan L2. Saya tahu mereka, hanya tidak mengerti mengapa norma L1 untuk model jarang. Bisakah seseorang menggunakan memberikan penjelasan sederhana?

97 regression  lasso  regularization  ridge-regression 

Dalam keadaan apa seseorang harus mempertimbangkan menggunakan metode regularisasi (ridge, laso atau paling tidak sudut regresi) daripada OLS? Dalam hal ini membantu mengarahkan diskusi, minat utama saya adalah meningkatkan akurasi prediksi.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Perkiraan koefisien regresi punggungan adalah nilai yang meminimalkanβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Pertanyaan saya adalah: Jika , maka kita melihat bahwa ekspresi di atas berkurang ke RSS yang biasa. Bagaimana jika ? Saya tidak mengerti penjelasan buku teks tentang perilaku koefisien.λ=0λ=0\lambda = 0λ→∞λ→∞\lambda \to \infty Untuk membantu memahami konsep …

71 ridge-regression  statistical-learning  history 

Perhatikan tiga fenomena berikut. Paradoks Stein: diberikan beberapa data dari distribusi normal multivariat dalam Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , rata-rata sampel bukan penaksir yang sangat baik dari rata-rata sebenarnya. Seseorang dapat memperoleh estimasi dengan kesalahan kuadrat rata-rata yang lebih rendah jika seseorang mengecilkan semua koordinat sampel rata-rata menuju nol …

65 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

Musim liburan telah memberi saya kesempatan untuk meringkuk di samping api dengan The Elements of Statistics Learning . Berasal dari perspektif ekonometrik (sering), saya mengalami kesulitan memahami penggunaan metode penyusutan seperti regresi ridge, laso, dan regresi sudut terkecil (LAR). Biasanya, saya tertarik pada estimasi parameter sendiri dan dalam mencapai ketidakberpihakan …

61 lasso  ridge-regression  shrinkage  lars 

Saya mengerti bahwa estimasi regresi ridge adalah yang meminimalkan jumlah sisa kuadrat dan penalti pada ukuranββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Namun, saya tidak sepenuhnya memahami pentingnya fakta bahwa βridgeβridge\beta_\text{ridge} berbeda dari βOLSβOLS\beta_\text{OLS} dengan hanya menambahkan konstanta kecil ke diagonal X′XX′XX'X . Memang, …

59 regression  least-squares  ridge-regression  shrinkage 

Untuk menyelesaikan masalah pemilihan model, sejumlah metode (LASSO, ridge regression, dll.) Akan mengecilkan koefisien variabel prediktor menjadi nol. Saya mencari penjelasan intuitif mengapa ini meningkatkan kemampuan prediksi. Jika efek sebenarnya dari variabel itu sebenarnya sangat besar, mengapa tidak menyusutkan parameter menghasilkan prediksi yang lebih buruk?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Pertimbangkan masalah regresi lama yang baik dengan prediktor dan ukuran sampel n . Kebijaksanaan yang biasa adalah bahwa penaksir OLS akan melampaui batas dan umumnya akan dikalahkan oleh penaksir regresi ridge: \ hat \ beta = (X ^ \ X atas + + lambda I) ^ {- 1} X ^ …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Saya mengalami beberapa masalah dengan derivasi solusi untuk regresi ridge. Saya tahu solusi regresi tanpa ketentuan regularisasi: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Tetapi setelah menambahkan istilah L2 ke fungsi biaya, mengapa solusinya menjadiλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Pada halaman 223 dalam Pengantar Pembelajaran Statistik , penulis merangkum perbedaan antara regresi ridge dan laso. Mereka memberikan contoh (Gambar 6.9) ketika "laso cenderung mengungguli regresi ridge dalam hal bias, varians, dan MSE". Saya mengerti mengapa laso diinginkan: ini menghasilkan solusi yang jarang karena menyusut banyak koefisien menjadi 0, menghasilkan …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model terbaik; model dipilih pada setiap set latihan luar (menggunakan loop CV …

36 cross-validation  model-selection  ridge-regression 

Saya ingin menggunakan Lasso atau regresi ridge untuk model dengan lebih dari 50.000 variabel. Saya ingin melakukannya menggunakan paket perangkat lunak dalam R. Bagaimana saya bisa memperkirakan parameter penyusutan ( )?λλ\lambda Suntingan: Inilah poin yang ingin saya sampaikan: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace …

36 r  lasso  ridge-regression  high-dimensional 

Apakah regularisasi jaring elastis selalu lebih disukai daripada Lasso & Ridge karena tampaknya mengatasi kelemahan dari metode ini? Apa intuisi dan apa matematika di balik jaring elastis?

35 regression  lasso  regularization  ridge-regression  elastic-net