Pertanyaan yang diberi tag «lasso»

Untuk penelitian saya saat ini, saya menggunakan metode Lasso melalui paket glmnet di R pada variabel dependen binomial. Dalam glmnet lambda optimal ditemukan melalui validasi silang dan model yang dihasilkan dapat dibandingkan dengan berbagai tindakan, misalnya kesalahan klasifikasi atau penyimpangan. Pertanyaan saya: Bagaimana tepatnya penyimpangan didefinisikan dalam glmnet? Bagaimana cara …

12 cross-validation  lasso  glmnet  deviance  lars 

Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan skor akurasi yang lebih rendah [yang mungkin disebabkan oleh ukuran …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Saya mencoba melakukan pemilihan model pada beberapa kandidat yang menggunakan LASSO dengan hasil yang berkelanjutan. Tujuannya adalah untuk memilih model optimal dengan kinerja prediksi terbaik, yang biasanya dapat dilakukan dengan validasi silang K-fold setelah mendapatkan jalur solusi dari parameter tuning dari LASSO. Masalahnya di sini adalah bahwa data berasal dari …

11 cross-validation  survey  lasso  glmnet 

Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih salah satunya. Selain itu, untuk masalah …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat menggunakan CV untuk menemukan parameter regularisasi yang optimal (mengatakan penalti). Sekarang …

11 lasso  regularization  shrinkage 

Saya mencoba melakukan regresi laso, yang memiliki bentuk sebagai berikut: Minimalkan dalam( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λ| w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Diberikan , saya disarankan untuk mencari optimal …

11 regression  lasso  quadratic-form 

Saya ingin secara manual memperbaiki koefisien tertentu, katakan , lalu koefisien dengan semua prediktor lain, sambil menjaga dalam model.β 1 = 1.0β1= 1.0β1=1.0\beta_1=1.0β1= 1.0β1=1.0\beta_1=1.0 Bagaimana saya bisa mencapai ini menggunakan R? Saya terutama ingin bekerja dengan LASSO ( glmnet) jika memungkinkan. Atau, bagaimana saya dapat membatasi koefisien ini untuk rentang …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Setelah membaca Bab 3 dalam Elemen Pembelajaran Statistik (Hastie, Tibshrani & Friedman), saya bertanya-tanya apakah mungkin untuk menerapkan metode penyusutan terkenal yang dikutip pada judul pertanyaan ini diberikan struktur kovarian, yaitu, meminimalkan (mungkin lebih umum) ) kuantitas (y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), (1)(y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) alih-alih yang …

11 lasso  ridge-regression 

Ketika saya menentukan lambda saya melalui validasi silang, semua koefisien menjadi nol. Tapi saya punya beberapa petunjuk dari literatur bahwa beberapa prediktor pasti akan mempengaruhi hasilnya. Apakah itu sampah untuk secara sewenang-wenang memilih lambda sehingga hanya ada sesedikit yang diinginkan seseorang? Saya ingin memilih 10 atau lebih prediktor dari 135 …

11 lasso 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Implementasi open-source apa - dalam bahasa apa pun - yang ada di luar sana yang dapat menghitung jalur regularisasi laso untuk regresi …

11 regression  lasso  regularization 

Jika β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , dapat ∥β∗∥2‖β∗‖2\|\beta^*\|_2 meningkat saat λλ\lambda meningkat? Saya pikir ini mungkin. Meskipun ∥β∗∥1‖β∗‖1\|\beta^*\|_1 tidak meningkat ketika λλ\lambda meningkat ( bukti saya ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 dapat meningkat. Gambar di bawah ini menunjukkan kemungkinan. Ketika λλ\lambda meningkat, jika β∗β∗\beta^* bergerak (linear) dari PPP ke QQQ , maka ∥β∗∥2‖β∗‖2\|\beta^*\|_2 meningkat sementara …

11 lasso 

Saya mencoba untuk meringkas apa yang saya mengerti sejauh ini dalam analisis multivariat yang dihukum dengan set data dimensi tinggi, dan saya masih berjuang melalui mendapatkan definisi yang tepat dari hukuman lunak thresholding vs Lasso (atau ).L1L1L_1 Lebih tepatnya, saya menggunakan regresi PLS jarang untuk menganalisis struktur data 2-blok termasuk …

11 multivariate-analysis  lasso  feature-selection  genetics 

Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange, membuat masalah untuk dipecahkan minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 Apa hubungan antara λλ\lambda …

10 optimization  lasso  regularization  lagrange-multipliers 

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net