Pertanyaan yang diberi tag «lasso»

Regresi LASSO menyusutkan koefisien ke nol, sehingga memberikan pemilihan model yang efektif. Saya percaya bahwa dalam data saya ada interaksi yang bermakna antara kovariat nominal dan kontinu. Namun tidak harus, 'efek utama' dari model yang sebenarnya bermakna (bukan nol). Tentu saja saya tidak tahu ini karena model yang sebenarnya tidak …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Perangkat lunak implementasi yang berbeda tersedia untuk laso . Saya tahu banyak membahas tentang pendekatan bayesian vs pendekatan frequentist di berbagai forum. Pertanyaan saya sangat spesifik untuk laso - Apa perbedaan atau kelebihan dari baysian laso vs laso biasa ? Berikut adalah dua contoh implementasi dalam paket: # just example …

24 r  machine-learning  linear-model  lasso 

Jadi saya ditanya pertanyaan yang mengukur L1 (yaitu, laso) dan L2 (yaitu, regresi ridge) diperkirakan. Jawabannya adalah L1 = median dan L2 = rata-rata. Apakah ada jenis alasan intuitif untuk ini? Atau harus ditentukan secara aljabar? Jika demikian, bagaimana cara saya melakukan itu?

24 lasso  regularization  loss-functions  ridge-regression 

Beberapa fungsi dan perkiraan penalti dipelajari dengan baik, seperti LASSO ( ) dan Ridge ( ) dan bagaimana ini dibandingkan dalam regresi.L 2L1L1L_1L2L2L_2 Saya telah membaca tentang penalti Bridge, yang merupakan ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma} penalti umum Bandingkan dengan LASSO, yang memiliki γ=1γ=1\gamma = 1 , dan Ridge, dengan γ=2γ=2\gamma = 2 …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Saya ingin lebih memahami paket R Larsdan Glmnet, yang digunakan untuk menyelesaikan masalah Lasso: (untuk Variabel dan sampel , lihat www.stanford.edu/~hastie/Papers/glmnet.pdf di halaman 3)pm i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( ysaya- β0- xTsayaβ)2+ λ | | β| |l1]msayan(β0β)∈Rhal+1[12N∑saya=1N(ysaya-β0-xsayaTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} …

22 r  regression  machine-learning  lasso  regularization 

Saya menjalankan percobaan kecil dengan regresi LASSO dalam R untuk menguji apakah ia dapat menemukan pasangan prediktor yang sempurna. Pasangan didefinisikan seperti ini: f1 + f2 = hasil Hasilnya di sini adalah vektor yang telah ditentukan yang disebut 'usia'. F1 dan f2 dibuat dengan mengambil setengah dari vektor usia dan …

20 r  regression  feature-selection  lasso  high-dimensional 

Kita semua akrab dengan gagasan, didokumentasikan dengan baik dalam literatur, bahwa optimasi LASSO (demi kesederhanaan membatasi perhatian di sini untuk kasus regresi linier) setara dengan model linier dengan kesalahan Gaussian di mana parameter diberikan Laplace sebelumnya \ exp (- \ lambda \ | \ beta \ | _1) Kami juga …

20 lasso  laplace-distribution 

Saya punya satu pertanyaan berkenaan dengan kebutuhan untuk menggunakan metode pemilihan fitur (Acak fitur nilai pentingnya hutan atau metode pemilihan fitur Univariat dll) sebelum menjalankan algoritma pembelajaran statistik. Kami tahu untuk menghindari overfitting, kami dapat menerapkan penalti regularisasi pada vektor bobot. Jadi jika saya ingin melakukan regresi linier, maka saya …

20 regression  machine-learning  feature-selection  lasso  regularization 

Regresi dihukum L1 (alias laso) disajikan dalam dua formulasi. Biarkan dua fungsi objektif menjadi Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Kemudian dua formulasi yang berbeda adalah argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 tunduk ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, dan, ekuivalen dengan argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. …

20 regression  lasso  penalized 

Saya menggunakan paket R yang dihukum untuk mendapatkan estimasi koefisien yang menyusut untuk dataset di mana saya memiliki banyak prediktor dan sedikit pengetahuan tentang yang mana yang penting. Setelah saya memilih parameter tuning L1 dan L2 dan saya puas dengan koefisien saya, apakah ada cara yang baik secara statistik untuk …

20 regression  lasso  stepwise-regression  ridge-regression 

Baru-baru ini saya menemukan bahwa dalam literatur ekonometrik terapan, ketika berhadapan dengan masalah pemilihan fitur, tidak jarang melakukan LASSO diikuti oleh regresi OLS menggunakan variabel yang dipilih. Saya bertanya-tanya bagaimana kita memenuhi syarat validitas dari prosedur semacam itu. Apakah ini akan menyebabkan masalah seperti variabel yang dihilangkan? Adakah bukti yang …

20 regression  feature-selection  econometrics  least-squares  lasso 

Berikut ini adalah plot glmnet dengan alpha default (1, karenanya laso) menggunakan mtcarsset data dalam R dengan mpgsebagai DV dan yang lainnya sebagai variabel prediktor. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Apa yang bisa kita simpulkan dari plot ini mengenai berbagai variabel, khususnya am, cyldan wt(garis merah, hitam dan biru muda)? Bagaimana kita akan …

19 regression  feature-selection  lasso  glmnet 

Saya semakin tertarik dengan prosedur jaring elastis untuk penyusutan / pemilihan prediktor. Tampaknya sangat kuat. Tetapi dari sudut pandang ilmiah saya tidak tahu apa yang harus dilakukan setelah saya mendapatkan koefisien. Pertanyaan apa yang saya jawab? Ini adalah variabel yang paling mempengaruhi hasil itu dan ini adalah koefisien yang memberikan …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Metode pemilihan variabel algoritmik bertahap cenderung memilih model yang bias kurang lebih setiap perkiraan dalam model regresi ( s dan UK, nilai- p , statistik F , dll.), Dan hampir sama dengan mengecualikan prediktor sejati sebagai termasuk prediktor palsu menurut literatur simulasi yang cukup matang.ββ\beta Apakah LASSO menderita dengan cara …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah melihat perilaku ini "di alam liar," dan …

18 lasso  ridge-regression  elastic-net