Pertanyaan yang diberi tag «lasso»

Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali Anda merasa sebaliknya.X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nnnddd …

10 optimization  lasso  regularization  time-complexity 

Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti mengapa Lasso bekerja secara teknis, dengan cara mencegah …

10 machine-learning  lasso  regularization 

[Pertanyaan serupa ditanyakan di sini tanpa jawaban] Saya telah cocok dengan model regresi logistik dengan L1 regularisasi (regresi logistik Lasso) dan saya ingin menguji koefisien yang dipasang untuk signifikansi dan mendapatkan nilai-p mereka. Saya tahu tes Wald (misalnya) adalah pilihan untuk menguji signifikansi koefisien individu dalam regresi penuh tanpa regularisasi, …

10 logistic  statistical-significance  regression-coefficients  lasso 

Saya bertanya-tanya bagaimana cara pendekatan dengan benar pelatihan dan pengujian model LASSO menggunakan glmnet di R? Secara khusus, saya bertanya-tanya bagaimana cara melakukannya jika kurangnya set data uji eksternal mengharuskan saya gunakan validasi silang (atau pendekatan serupa lainnya) untuk menguji model LASSO saya. Biarkan saya memecah skenario saya: Saya hanya …

10 r  cross-validation  glmnet  lasso 

Di kelas pembelajaran mesin saya, kami telah belajar tentang bagaimana regresi LASSO sangat baik dalam melakukan pemilihan fitur, karena menggunakan regularisasi .l1l1l_1 Pertanyaan saya: apakah orang biasanya menggunakan model LASSO hanya untuk melakukan pemilihan fitur (dan kemudian melanjutkan untuk membuang fitur-fitur tersebut ke model pembelajaran mesin yang berbeda), atau apakah …

10 feature-selection  lasso  regression-strategies 

Situasi saya: ukuran sampel kecil: 116 variabel hasil biner daftar panjang variabel penjelas: 44 variabel penjelas tidak datang dari atas kepala saya; pilihan mereka didasarkan pada literatur. kebanyakan kasus dalam sampel dan sebagian besar variabel memiliki nilai yang hilang. Pendekatan untuk pemilihan fitur yang dipilih: LASSO Paket glmnet R tidak …

10 r  spss  lasso  data-imputation 

Saya mendapatkan tiga model tereduksi dari model full asli yang menggunakan seleksi ke depan eliminasi mundur Teknik hukuman L1 (LASSO) Untuk model yang diperoleh dengan menggunakan seleksi maju / eliminasi mundur, saya memperoleh estimasi kesalahan prediksi prediksi yang digunakan CVlmdalam paket yang DAAGtersedia di R. Untuk model yang dipilih melalui …

10 cross-validation  model-selection  lasso  stepwise-regression 

Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinearitas bukan. …

10 regression  lasso  elastic-net 

Saya mencari jawaban intuitif mengapa model GLM LASSO memilih prediktor spesifik dari kelompok yang sangat berkorelasi, dan mengapa itu melakukannya secara berbeda maka pemilihan fitur subset terbaik. Dari geometri LASSO yang ditunjukkan pada Gambar 2 di Tibshirani 1996, saya dituntun untuk percaya bahwa LASSO memilih prediktor dengan varian yang lebih …

10 feature-selection  lasso 

Saya pas model linear dalam R menggunakan glmnet. Model asli (tidak diatur) dipasang menggunakan lmdan tidak memiliki istilah konstan (yaitu dalam bentuk lm(y~0+x1+x2,data)). glmnetmengambil matriks prediktor dan vektor respons. Saya telah membaca glmnetdokumentasi, dan tidak dapat menemukan istilah yang konstan. Jadi, adakah cara untuk meminta glmnetuntuk memaksakan kesesuaian linear melalui …

10 r  regression  lasso 

Bagaimana cara melakukan regresi ridge non-negatif? Laso non-negatif tersedia di scikit-learn, tetapi untuk ridge, saya tidak dapat menegakkan non-negativitas beta, dan memang, saya mendapatkan koefisien negatif. Adakah yang tahu mengapa ini terjadi? Juga, dapatkah saya menerapkan punggungan dalam hal kuadrat terkecil reguler? Pindah ini ke pertanyaan lain: Dapatkah saya menerapkan …

10 regression  lasso  regularization  ridge-regression 

Fungsi R cv.glm (library: boot) menghitung perkiraan kesalahan prediksi validasi silang K-fold untuk model linier umum dan mengembalikan delta. Apakah masuk akal untuk menggunakan fungsi ini untuk regresi laso (library: glmnet) dan jika demikian, bagaimana hal itu dapat dilakukan? Pustaka glmnet menggunakan cross-validation untuk mendapatkan parameter belokan terbaik, tapi saya …

10 r  regression  cross-validation  lasso  glmnet 

Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau membantu untuk merobohkan tabel dengan menggabungkan level faktor …

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

Saya tahu ini akan memperburuk kesimpulan statistik, tetapi saya benar-benar hanya peduli dengan sedekat mungkin dengan model yang akurat. Saya memiliki variabel hasil dikotomis, dengan seperangkat besar prediktor dikotomis. Saya pikir saya ingin mencoba menggunakan LASSO untuk memilih variabel mana yang harus saya sertakan dalam model saya, kemudian memasukkan variabel-variabel …

10 model-selection  lasso  logit 

Saya memiliki dataset dengan sekitar 5.000 fitur / kovariat yang sering berkorelasi dan respons biner. Data itu diberikan kepada saya, saya tidak mengumpulkannya. Saya menggunakan Lasso dan meningkatkan gradien untuk membangun model. Saya menggunakan iterasi, validasi cross bersarang. Saya melaporkan 40 koefisien terbesar (absolut) Lasso dan 40 fitur terpenting dalam …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional