Pertanyaan yang diberi tag «regularization»

Apa pro dan kontra dari menggunakan LARS [1] dibandingkan menggunakan penurunan koordinat untuk menyesuaikan regresi linier yang diatur L1? Saya terutama tertarik pada aspek kinerja (masalah saya cenderung ada Ndalam ratusan ribu dan p<20.) Namun, wawasan lainnya juga akan dihargai. sunting: Karena saya telah memposting pertanyaan, chl telah dengan ramah …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saya telah membaca bahwa grup laso digunakan untuk pemilihan variabel dan sparsity dalam kelompok variabel. Saya ingin tahu intuisi di balik klaim ini. Mengapa laso grup lebih disukai daripada laso? Mengapa jalur solusi laso grup tidak lurus linear?

13 regression  feature-selection  lasso  regularization 

Menurut tutorial tentang pembelajaran yang mendalam ini , pembusukan berat badan (regularisasi) biasanya tidak diterapkan pada istilah bias b mengapa? Apa makna (intuisi) di baliknya?

13 machine-learning  neural-networks  bias  regularization 

Saya ingin membandingkan model yang dipilih dengan punggungan, laso dan jaring elastis. Gambar. Di bawah ini menunjukkan koefisien jalur menggunakan ketiga metode: ridge (Gambar A, alpha = 0), laso (Gambar B; alpha = 1) dan jaring elastis (Gambar C; alpha = 0,5). Solusi optimal tergantung pada nilai yang dipilih dari …

13 r  multiple-regression  modeling  regularization 

Saya menggunakan paket 'lars' dalam R dengan kode berikut: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Saya semakin sering mendengar kata-kata ini ketika saya mempelajari pembelajaran mesin. Faktanya, beberapa orang telah memenangkan medali Fields dengan mengerjakan persamaan persamaan. Jadi, saya kira ini adalah istilah yang membawa dirinya dari fisika statistik / matematika ke pembelajaran mesin. Secara alami, sejumlah orang yang saya tanya tidak bisa menjelaskannya secara …

12 machine-learning  self-study  terminology  regularization  definition 

Adakah yang bisa mengarahkan saya ke arah algoritma online (rekursif) untuk Regulasi Tikhonov (kuadrat terkecil yang diatur)? Dalam pengaturan offline, saya akan menghitung β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY menggunakan set data asli saya di mana λλλ ditemukan menggunakan validasi silang n-fold. Nilai y baru yyydapat diprediksi untuk x yang diberikan xxxmenggunakan y=xTβ^y=xTβ^y=x^T\hat\beta . Dalam …

12 regression  machine-learning  least-squares  regularization  online 

Saya ingin mengajukan pertanyaan ini dalam dua bagian. Keduanya berurusan dengan model linier umum, tetapi yang pertama berkaitan dengan pemilihan model dan yang lainnya berkaitan dengan regularisasi. Latar Belakang: Saya menggunakan model GLM (linier, logistik, regresi gamma) untuk prediksi dan deskripsi. Ketika saya merujuk pada " hal-hal normal yang dilakukan …

12 regression  model-selection  regularization 

Apakah ada makalah atau buku bagus yang membahas tentang penggunaan penurunan koordinat untuk L1 (laso) dan / atau regularisasi jaring elastis untuk masalah regresi linier?

12 regression  references  lasso  regularization  elastic-net 

Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Apakah ada teorema yang serupa untuk laso? Jika ada teorema seperti itu, tidak hanya akan menjamin stabilitas …

12 regression  self-study  feature-selection  lasso  regularization 

Saya mencari literatur tentang regresi ridge negatif . Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung dengan versi negatif dengan hanya rumus di atas. Kebetulan berguna untuk …

12 regression  regularization  ridge-regression 

Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

Untuk mencegah orang overfitting orang menambahkan istilah regularisasi (sebanding dengan jumlah kuadrat dari parameter model) dengan parameter regularisasi ke fungsi biaya regresi linier. Apakah parameter ini sama dengan pengali lagrange? Jadi, apakah regularisasi sama dengan metode pengali lagrange? Atau bagaimana metode ini terhubung? λλ\lambdaλλ\lambda

12 regression  optimization  regularization 

Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi langsung akan menghasilkan dengan akar kuadrat dari jumlah beta kuadrat).ℓ …

12 lasso  regularization  ridge-regression 

Saya telah melihat banyak makalah tentang representasi jarang belakangan ini, dan kebanyakan dari mereka menggunakan norma dan melakukan beberapa minimisasi. Pertanyaan saya adalah, apa norma , dan norma campuran? Dan bagaimana mereka relevan dengan regularisasi?ℓ p ℓ p , qℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Terima kasih

12 machine-learning  regularization  sparse