Pertanyaan yang diberi tag «regularization»

Kita dapat mensimulasikan regresi linier tanpa keacakan, yang berarti kita membuat daripada . Maka jika kita cocok dengan model linier koefisien akan identik dengan "kebenaran dasar". Berikut ini sebuah contoh.y=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <- matrix(rnorm(n*p), ncol=p) beta <- runif(p) # y <- X %*% beta …

8 r  logistic  regularization  linear  separation 

Sifat mendasar dari regresi efek-acak adalah bahwa estimasi intersep acak "menyusut" terhadap rata-rata keseluruhan respons sebagai fungsi dari varian relatif masing-masing estimasi. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} manaρj=τ2/(τ2+σ2/nj).ρj=τ2/(τ2+σ2/nj).\rho_j = \tau^2 / (\tau^2 + \sigma^2/n_j). Ini juga kasus dengan model campuran linier umum (GLMMs) seperti regresi logistik. Bagaimana susut itu …

8 mixed-model  regularization  shrinkage 

Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0). Pertama-tama saya hanya menggunakan kelipatan valuasi aktual dan …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Saya mundur prediktor kontinu pada lebih dari 60 variabel (baik kontinu dan kategoris) menggunakan LASSO (glmnet). Dalam memeriksa plot jejak variabel, saya perhatikan bahwa seiring bertambahnya log lambda, salah satu variabel kunci memiliki koefisien yang benar-benar meningkat. Kemudian, setelah titik tertentu, mulai berkurang seperti yang kita harapkan. Untuk memastikan ini …

8 lasso  regularization  glmnet 

Saya bertanya-tanya tentang kehalusan kisi optimal dan apa hubungan antara kehalusan kisi-kisi dan overfitting dalam metode regularisasi seperti LASSO, regresi ridge atau jaring elastis. Misalkan saya ingin mencocokkan model regresi menggunakan LASSO dengan sampel 500 pengamatan (saya tidak punya data; ini hanya sebuah contoh). Misalkan saya punya (A) grid dengan …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Saya mencoba memahami bagaimana regularisasi bekerja dalam hal proyeksi ke a l∗l∗l_* bola, dan proyeksi Euclidean ke simpleks. Saya tidak yakin saya mengerti apa yang kami maksud ketika kami memproyeksikan vektor bobot ke l1l1l_1 atau l2l2l_2 bola. Saya bisa mengerti konsep l1l1l_1program regularisasi, seperti dalam, kita pergi melalui setiap elemen …

8 optimization  regularization  projection 

Biasanya dikatakan bahwa prior pada statistik bayesian dapat dianggap sebagai faktor regularisasi karena mereka menghukum solusi di mana sebelumnya menempatkan kepadatan probabilitas rendah. Kemudian, diberikan model sederhana ini yang parameter MLE-nya adalah: argmaxμ N(y;μ,σ)argmaxμ N(y;μ,σ) argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma) dan saya menambahkan sebelumnya: parameternya bukan parameter MLE tetapi …

8 bayesian  regularization  frequentist  philosophical 

Jika kita memilih nilai parameter yang berbeda λλ\lambda, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar tentang sparsity. Selain itu, dapatkah Anda memberikan deskripsi sederhana tentang solusi …

8 lasso  regularization 

Saya memahami koefisien dari persamaan logistik dapat diartikan sebagai rasio ganjil. Jika istilah regularisasi ditambahkan untuk mengontrol over-fitting, bagaimana hal ini mengubah interpretasi koefisien?

8 logistic  interpretation  regression-coefficients  regularization  odds-ratio 

Saya mencoba mencari perkiraan MAP untuk model berdasarkan gradient descent. Sebelumnya saya adalah multivariat Gaussian dengan matriks kovarian yang dikenal. Pada tingkat konseptual, saya pikir saya tahu bagaimana melakukan ini, tetapi saya berharap bantuan dengan detailnya. Secara khusus, jika ada cara yang lebih mudah untuk mendekati masalah, maka itu akan …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Saya mencoba menerapkan Manifold Regularization di Support Vector Machines (SVMs) di Matlab. Saya mengikuti instruksi di kertas oleh Belkin et al. (2006), ada persamaan di dalamnya: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} di mana V adalah beberapa fungsi kerugian dan γAγA\gamma_A adalah bobot norma fungsi dalam RHKS …

8 machine-learning  svm  regularization 

Saya telah mengimplementasikan versi elastis jaring GLMNET untuk regresi linier dengan perangkat lunak lain selain R. Saya membandingkan hasil saya dengan fungsi R glmnet dalam mode laso pada data diabetes . Pilihan variabel ok ketika memvariasikan nilai parameter (lambda) tapi saya mendapatkan nilai koefisien yang sedikit berbeda. Untuk alasan ini …

8 r  lasso  regularization  glmnet  elastic-net