Pertanyaan yang diberi tag «lasso»

Apa pro dan kontra dari menggunakan LARS [1] dibandingkan menggunakan penurunan koordinat untuk menyesuaikan regresi linier yang diatur L1? Saya terutama tertarik pada aspek kinerja (masalah saya cenderung ada Ndalam ratusan ribu dan p<20.) Namun, wawasan lainnya juga akan dihargai. sunting: Karena saya telah memposting pertanyaan, chl telah dengan ramah …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya telah membaca bahwa grup laso digunakan untuk pemilihan variabel dan sparsity dalam kelompok variabel. Saya ingin tahu intuisi di balik klaim ini. Mengapa laso grup lebih disukai daripada laso? Mengapa jalur solusi laso grup tidak lurus linear?

13 regression  feature-selection  lasso  regularization 

Saya mencari beberapa sumber terbuka atau perpustakaan yang ada yang dapat saya gunakan. Sejauh yang saya katakan paket glmnet tidak mudah diperluas untuk menutupi kasus non negatif. Saya mungkin salah, Siapa pun yang punya ide sangat dihargai. Maksud saya non-negatif semua koefisien dibatasi menjadi positif (> 0).

13 r  lasso 

Saya menggunakan paket 'lars' dalam R dengan kode berikut: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Zou et al. "Pada" derajat kebebasan "dari laso" (2007) menunjukkan bahwa jumlah koefisien bukan nol adalah perkiraan yang tidak bias dan konsisten untuk derajat kebebasan laso. Sepertinya agak berlawanan dengan intuisi saya. Misalkan kita memiliki model regresi (di mana variabelnya nol rata-rata) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. Misalkan perkiraan OLS yang …

12 regression  lasso  degrees-of-freedom  shrinkage 

Saya mencoba memahami bagaimana algoritma Lars dapat dimodifikasi untuk menghasilkan Lasso. Meskipun saya mengerti LARS, saya tidak dapat melihat modifikasi Lasso dari kertas oleh Tibshirani et al. Khususnya saya tidak melihat mengapa kondisi tanda bahwa tanda koordinat non-nol harus setuju dengan tanda korelasi saat ini. Dapatkah seseorang tolong bantu saya …

12 lasso 

Apakah ada makalah atau buku bagus yang membahas tentang penggunaan penurunan koordinat untuk L1 (laso) dan / atau regularisasi jaring elastis untuk masalah regresi linier?

12 regression  references  lasso  regularization  elastic-net 

Saya menyesuaikan regresi linier yang teregulasi L1 ke dataset yang sangat besar (dengan n >> p.) Variabel-variabel tersebut diketahui sebelumnya, tetapi pengamatannya tiba dalam potongan-potongan kecil. Saya ingin mempertahankan laso setelah setiap potong. Saya jelas dapat menyesuaikan kembali seluruh model setelah melihat setiap set pengamatan baru. Ini, bagaimanapun, akan sangat …

12 regression  lasso 

Saya telah memprogram regresi logistik menggunakan algoritma IRLS . Saya ingin menerapkan hukuman LASSO untuk memilih fitur yang tepat secara otomatis. Pada setiap iterasi, berikut ini dipecahkan: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Biarkan menjadi bilangan real non-negatif. Saya tidak menghukum intersep seperti yang disarankan dalam The Elements of. Pembelajaran Statistik . Ditto untuk …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Apakah ada teorema yang serupa untuk laso? Jika ada teorema seperti itu, tidak hanya akan menjamin stabilitas …

12 regression  self-study  feature-selection  lasso  regularization 

Saya telah membaca di beberapa tempat bahwa R Squared bukan ukuran ideal ketika model cocok menggunakan LASSO. Namun, saya tidak tahu persis mengapa itu terjadi. Selain itu, dapatkah Anda merekomendasikan alternatif terbaik?

12 regression  lasso  r-squared  penalized 

Saat ini saya sedang mengerjakan pembuatan model prediksi untuk hasil biner pada dataset dengan ~ 300 variabel dan 800 pengamatan. Saya telah membaca banyak di situs ini tentang masalah yang terkait dengan regresi bertahap dan mengapa tidak menggunakannya. Saya telah membaca regresi LASSO dan kemampuannya untuk pemilihan fitur dan telah …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi langsung akan menghasilkan dengan akar kuadrat dari jumlah beta kuadrat).ℓ …

12 lasso  regularization  ridge-regression 

LASSO dan LASSO adaptif adalah dua hal yang berbeda, bukan? (Bagiku, hukumannya terlihat berbeda, tapi aku hanya memeriksa apakah aku melewatkan sesuatu.) Ketika Anda secara umum berbicara tentang jaring elastis, apakah case khusus LASSO atau LASSO adaptif? Paket glmnet mana yang dilakukan, asalkan Anda memilih alpha = 1? LASSO yang …

12 lasso  glmnet  elastic-net  oracle 

Saya menggunakan "glmnet" untuk regresi laso di GWAS. Beberapa varian dan individu memiliki nilai yang hilang dan tampaknya glmnet tidak dapat menangani nilai yang hilang. Apakah ada solusi untuk ini? atau apakah ada paket lain yang dapat menangani nilai yang hilang dalam regresi laso? Ini skrip saya. > library(glmnet) > …

12 missing-data  lasso  glmnet