Pertanyaan yang diberi tag «regularization»

Ini adalah sesuatu yang saya baca di buku Ian Goodfellow, Deep Learning . Dalam konteks jaringan saraf, "hukuman norma parameter L2 umumnya dikenal sebagai pembusukan berat. Strategi regularisasi ini mendorong bobot lebih dekat ke titik asal [...]. Secara umum, kita dapat mengatur parameter agar mendekati titik tertentu dalam ruang "tetapi …

11 machine-learning  neural-networks  deep-learning  regularization 

Dalam memilih parameter regularisasi lambda di Ridge atau Lasso, metode yang disarankan adalah mencoba nilai-nilai lambda yang berbeda, mengukur kesalahan dalam Set Validasi dan akhirnya memilih nilai lambda yang mengembalikan kesalahan terendah. Ini tidak jelas bagi saya jika fungsi f (lambda) = error adalah Convex. Mungkinkah seperti ini? Yaitu dapat …

11 cross-validation  error  regularization  validation  optimization 

Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih salah satunya. Selain itu, untuk masalah …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat menggunakan CV untuk menemukan parameter regularisasi yang optimal (mengatakan penalti). Sekarang …

11 lasso  regularization  shrinkage 

Dengan teknik regularisasi saya mengacu pada laso, regresi ridge, jaring elastis dan sejenisnya. Pertimbangkan model prediksi pada data layanan kesehatan yang berisi data demografi dan diagnosis di mana lama rawat inap diramalkan. Untuk beberapa individu ada beberapa pengamatan LOS (yaitu, lebih dari satu episode IP) selama periode waktu awal yang …

11 multiple-regression  random-effects-model  regularization 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Implementasi open-source apa - dalam bahasa apa pun - yang ada di luar sana yang dapat menghitung jalur regularisasi laso untuk regresi …

11 regression  lasso  regularization 

Pemahaman saya tentang regresi LASSO adalah bahwa koefisien regresi dipilih untuk menyelesaikan masalah minimalisasi: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Dalam praktiknya ini dilakukan dengan menggunakan pengali Lagrange, membuat masalah untuk dipecahkan minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 Apa hubungan antara λλ\lambda …

10 optimization  lasso  regularization  lagrange-multipliers 

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali Anda merasa sebaliknya.X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nnnddd …

10 optimization  lasso  regularization  time-complexity 

Saya telah ke beberapa pembicaraan statistik baru-baru ini tentang Lasso (regularisasi) dan satu hal yang terus muncul adalah bahwa kita tidak benar-benar mengerti mengapa Lasso bekerja atau mengapa ia bekerja dengan sangat baik. Saya bertanya-tanya apa maksud pernyataan ini. Jelas saya mengerti mengapa Lasso bekerja secara teknis, dengan cara mencegah …

10 machine-learning  lasso  regularization 

Seperti yang dinyatakan judul, saya mencoba mereplikasi hasil dari glmnet linear menggunakan pengoptimal LBFGS dari perpustakaan lbfgs. Pengoptimal ini memungkinkan kita untuk menambahkan istilah regularizer L1 tanpa harus khawatir tentang diferensiabilitas, selama fungsi objektif kami (tanpa istilah regularizer L1) adalah cembung. minβ∈Rp12n∥β0+Xβ−y∥22+αλ∥β∥1+12(1−α)λ∥β∥22minβ∈Rp12n‖β0+Xβ−y‖22+αλ‖β‖1+12(1−α)λ‖β‖22\min_{\beta \in \mathbb{R}^p} \frac{1}{2n}\Vert \beta_0 + X\beta - y …

10 r  regression  regularization  glmnet  elastic-net 

Sudah diketahui umum (misalnya dalam bidang penginderaan tekan) bahwa norma adalah "penginduksian sparsitas," dalam arti bahwa jika kita meminimalkan fungsional (untuk matriks tetap dan vektor ) untuk ukuran yang cukup besar \ lambda> 0 , kami cenderung untuk banyak pilihan A , \ vec {b} , dan \ lambda untuk …

10 regression  matrix  normalization  regularization  sparse 

Ada banyak metode untuk melakukan regularisasi - , , dan regularisasi berbasis misalnya. Menurut Friedman Hastie & Tibsharani , pembuat peraturan terbaik tergantung pada masalah: yaitu sifat fungsi target yang sebenarnya, dasar tertentu yang digunakan, rasio sinyal terhadap kebisingan, dan ukuran sampel.L 1 L 2L.0L0L_0L.1L1L_1L.2L2L_2 Adakah penelitian empiris yang membandingkan …

10 r  regression  machine-learning  regularization 

Dalam minggu 3 catatan kuliah dari kelas Coursera Machine Learning Andrew Ng , istilah ditambahkan ke fungsi biaya untuk melaksanakan regularisasi: J+( θ ) = J( θ ) + λ2 m∑j = 1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Catatan kuliah mengatakan: Kami juga dapat mengatur semua parameter theta kami …

10 regularization 

Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan regularisasi l2 dan hasilnya hanya akurasi 30% pada set kereta juga daripada …

10 neural-networks  deep-learning  regularization  rnn