Pertanyaan yang diberi tag «regularization»

Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Saya mencoba untuk menyesuaikan model regresi linier multivariat dengan sekitar 60 variabel prediktor dan 30 pengamatan, jadi saya menggunakan paket glmnet untuk regresi yang diatur karena p> n. Saya telah melalui dokumentasi dan pertanyaan lain tetapi saya masih belum dapat menginterpretasikan hasilnya, berikut ini contoh kode (dengan 20 prediktor dan …

36 r  regression  regularization  glmnet 

Apakah regularisasi jaring elastis selalu lebih disukai daripada Lasso & Ridge karena tampaknya mengatasi kelemahan dari metode ini? Apa intuisi dan apa matematika di balik jaring elastis?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Saya membayangkan bahwa semakin besar koefisien pada suatu variabel, semakin besar kemampuan model untuk "berayun" dalam dimensi itu, memberikan peluang yang lebih besar untuk menyesuaikan kebisingan. Meskipun saya pikir saya punya perasaan yang wajar tentang hubungan antara varians dalam model dan koefisien besar, saya tidak memiliki alasan yang baik mengapa …

33 regression  variance  linear-model  bias  regularization 

Regularisasi Tikhonov dan regresi ridge adalah istilah yang sering digunakan seolah-olah mereka identik. Apakah mungkin untuk menentukan dengan tepat apa perbedaannya?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Saya seorang insinyur pembelajaran perangkat lunak mesin pembelajaran, terutama melalui kursus pembelajaran mesin Andrew Ng . Saat mempelajari regresi linier dengan regularisasi , saya menemukan istilah yang membingungkan: Regresi dengan regularisasi L1 atau regularisasi L2 LASO Regresi punggungan Jadi pertanyaan saya: Apakah regresi dengan regularisasi L1 persis sama dengan LASSO? …

33 regression  terminology  lasso  regularization  ridge-regression 

Bagaimana metode ridge, LASSO, dan elasticnet regularisasi dibandingkan? Apa kelebihan dan kekurangan masing-masing? Makalah teknis yang baik, atau catatan kuliah akan dihargai juga.

33 references  lasso  regularization  ridge-regression  elastic-net 

Adakah yang bisa merekomendasikan penjelasan yang baik tentang teori di balik regresi kuadrat terkecil parsial (tersedia online) untuk seseorang yang memahami SVD dan PCA? Saya telah melihat banyak sumber online dan belum menemukan apa pun yang memiliki kombinasi yang tepat antara ketelitian dan aksesibilitas. Saya telah melihat ke dalam Elemen …

33 regression  references  regularization  svd  partial-least-squares 

Ketika melakukan regresi, misalnya, dua parameter hiper untuk memilih seringkali adalah kapasitas fungsi (mis. Eksponen terbesar polinomial), dan jumlah regularisasi. Yang saya bingung, mengapa tidak hanya memilih fungsi kapasitas rendah, dan kemudian mengabaikan regularisasi? Dengan begitu, itu tidak akan overfit. Jika saya memiliki fungsi kapasitas tinggi bersama dengan regularisasi, bukankah …

32 regression  machine-learning  optimization  regularization  polynomial 

Catatan: Saya tahu bahwa L1 memiliki properti pemilihan fitur. Saya mencoba memahami yang mana yang harus dipilih ketika pemilihan fitur sama sekali tidak relevan. Bagaimana cara memutuskan regularisasi (L1 atau L2) mana yang akan digunakan? Apa pro & kontra dari masing-masing regularisasi L1 / L2? Apakah disarankan untuk pertama melakukan …

30 regression  lasso  regularization  ridge-regression 

Saya ingin menggunakan GLM dan Elastic Net untuk memilih fitur-fitur yang relevan + membangun model regresi linier (yaitu, baik prediksi dan pemahaman, sehingga akan lebih baik dibiarkan dengan parameter yang relatif sedikit). Outputnya kontinu. Ini gen per 50 kasus. Saya telah membaca tentang paket tersebut, tetapi saya tidak 100% yakin …

29 r  regularization  glmnet  elastic-net  underdetermined 

Saya menggunakan fungsi auto.arima () dalam paket perkiraan agar sesuai dengan model ARMAX dengan beragam kovariat. Namun, saya sering memiliki sejumlah besar variabel untuk dipilih dan biasanya berakhir dengan model akhir yang berfungsi dengan subset dari mereka. Saya tidak suka teknik ad-hoc untuk pemilihan variabel karena saya manusia dan cenderung …

29 r  time-series  lasso  regularization  elastic-net 

Masalah laso βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ⁡‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1 memiliki solusi bentuk tertutup: βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+ jika XXX memiliki kolom ortonormal. Ini ditunjukkan di utas ini: Penurunan solusi bentuk laso tertutup . Namun saya tidak mengerti mengapa tidak ada solusi formulir tertutup pada umumnya. Menggunakan subdifferensial saya memperoleh yang …

28 regression  lasso  regularization 

Saya telah membaca tiga alasan utama untuk menstandarkan variabel sebelum sesuatu seperti Lassoregresi: 1) Interpretabilitas koefisien. 2) Kemampuan untuk menentukan peringkat kepentingan koefisien dengan besarnya relatif estimasi koefisien pasca penyusutan. 3) Tidak perlu mencegat. Tetapi saya bertanya-tanya tentang hal yang paling penting. Apakah kita memiliki alasan untuk berpikir bahwa standardisasi …

28 normalization  lasso  standardization  regularization  shrinkage 

Kertas jaring elastis asli Zou & Hastie (2005) Regularisasi dan pemilihan variabel melalui jaring elastis memperkenalkan fungsi kerugian bersih elastis untuk regresi linier (di sini saya berasumsi semua variabel berpusat dan diskalakan ke varian unit): tetapi menyebutnya "jaring elastis naif". Mereka berpendapat bahwa itu melakukan penyusutan ganda (laso dan punggungan), …

27 regression  regularization  glmnet  elastic-net  shrinkage