Pertanyaan yang diberi tag «lasso»

Saya punya dataset dengan 338 prediktor dan 570 instance (sayangnya tidak dapat diunggah) di mana saya menggunakan Lasso untuk melakukan pemilihan fitur. Secara khusus, saya menggunakan cv.glmnetfungsi dari glmnetsebagai berikut, di mana mydata_matrixmatriks biner 570 x 339 dan hasilnya adalah biner: library(glmnet) x_dat <- mydata_matrix[, -ncol(mydata_matrix)] y <- mydata_matrix[, ncol(mydata_matrix)] …

8 r  classification  lasso  glmnet 

Laso dan jaring elastis tidak mampu menangani variabel dengan lebih dari dua kategori dan oleh karena itu pemisahan variabel kategorikal menjadi boneka diperlukan untuk penerapan metode ini. Ini dapat mengakibatkan beberapa masalah dan oleh karena itu ada ekstensi untuk laso ke laso kelompok atau laso kelompok jarang . Namun, saya …

8 machine-learning  categorical-data  feature-selection  lasso  elastic-net 

Adakah yang bisa memberikan pandangan intuitif tentang mengapa lebih baik memiliki beta yang lebih kecil? Untuk LASSO saya bisa mengerti itu, ada komponen pemilihan fitur di sini. Lebih sedikit fitur membuat model lebih sederhana dan karena itu lebih kecil kemungkinannya untuk pas. Namun, untuk punggungan, semua fitur (faktor) disimpan. Hanya …

8 regression  lasso  ridge-regression  shrinkage 

Saya melakukan laso dan kemudian meninggalkan validasi silang keluar-keluar cv<-cv.glmnet(df, df$Price, nfolds = 1500) Ketika saya merencanakan cv saya mendapatkan yang berikut: Saya juga memperhatikan bahwa saya mendapatkan 2 lambda berbeda: lambda.mindanlambda.1se Apa perbedaan antara lambda ini? Apa yang bisa saya pahami dari plot di atas secara umum (apa interval …

8 r  cross-validation  interpretation  lasso 

Saya mengerti bahwa penginderaan terkompresi menemukan solusi yang paling jarang y=Axy=Axy = Ax dimana x∈RDx∈RDx \in \mathbb{R}^D, A∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}, dan y∈Rky∈Rky \in \mathbb{R}^{k}, k&lt;&lt;Dk&lt;&lt;Dk << D. Dengan cara ini kita dapat merekonstruksi xxx (asli) menggunakan yyy(Kompresi), cukup cepat. Kami mengatakan ituxxxadalah solusi paling jarang. Sparsity dapat dipahami …

8 lasso  sparse 

Saya mundur prediktor kontinu pada lebih dari 60 variabel (baik kontinu dan kategoris) menggunakan LASSO (glmnet). Dalam memeriksa plot jejak variabel, saya perhatikan bahwa seiring bertambahnya log lambda, salah satu variabel kunci memiliki koefisien yang benar-benar meningkat. Kemudian, setelah titik tertentu, mulai berkurang seperti yang kita harapkan. Untuk memastikan ini …

8 lasso  regularization  glmnet 

Pembelajaran Statistik dan hasilnya saat ini meresap dalam Ilmu Sosial. Beberapa bulan yang lalu, Guido Imbens berkata: "LASSO adalah OLS baru". Saya belajar Machine Learning sedikit, dan saya tahu bahwa tujuan utamanya adalah prediksi. Saya juga setuju dengan perbedaan Leo Breiman antara dua budaya statistik. Jadi, dari sudut pandang saya, …

8 machine-learning  lasso  causality 

Saya bertanya-tanya tentang kehalusan kisi optimal dan apa hubungan antara kehalusan kisi-kisi dan overfitting dalam metode regularisasi seperti LASSO, regresi ridge atau jaring elastis. Misalkan saya ingin mencocokkan model regresi menggunakan LASSO dengan sampel 500 pengamatan (saya tidak punya data; ini hanya sebuah contoh). Misalkan saya punya (A) grid dengan …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Saya menjalankan beberapa optimasi dengan implementasi BFGS yang optimal. Fungsi objektif sebenarnya adalah algoritma komputasi, bukan hanya matematika. Saya menemukan ketika saya menambahkan penalti L1, segalanya melambat sedikit. Kenapa ini bisa terjadi? Apakah ada sesuatu tentang L1 yang memperlambat segalanya? Lalu bagaimana glmnetimplementasi LASSO begitu cepat? Pencarian Google cepat menghasilkan …

8 r  optimization  lasso 

Saya mencoba menentukan alfa apa yang akan digunakan dalam glmnetfungsi saya , tetapi file bantuan memberitahu saya: Perhatikan bahwa cv.glmnet TIDAK mencari nilai untuk alpha. Nilai spesifik harus diberikan, jika alpha = 1 diasumsikan secara default. Jika pengguna ingin memvalidasi silang alpha juga, mereka harus memanggil cv.glmnet dengan vektor foldid …

8 r  lasso  ridge-regression  glmnet 

Jika kita memilih nilai parameter yang berbeda λλ\lambda, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar tentang sparsity. Selain itu, dapatkah Anda memberikan deskripsi sederhana tentang solusi …

8 lasso  regularization 

Saya telah mengimplementasikan versi elastis jaring GLMNET untuk regresi linier dengan perangkat lunak lain selain R. Saya membandingkan hasil saya dengan fungsi R glmnet dalam mode laso pada data diabetes . Pilihan variabel ok ketika memvariasikan nilai parameter (lambda) tapi saya mendapatkan nilai koefisien yang sedikit berbeda. Untuk alasan ini …

8 r  lasso  regularization  glmnet  elastic-net