Pertanyaan yang diberi tag «regularization»

Pertimbangkan regresi linier dengan beberapa regularisasi: Misalnya Find yang meminimalkan | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Biasanya, kolom A distandarisasi untuk memiliki rata-rata nol dan norma satuan, sedangkan berpusat untuk memiliki rata-rata nol. Saya ingin memastikan apakah …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Jika Anda melihat bagian atas tulisan ini, penulis menyebutkan bahwa norma L2 memiliki solusi yang unik dan norma L1 memiliki banyak solusi. Saya mengerti ini dalam hal regularisasi, tetapi tidak dalam hal menggunakan norma L1 atau norma L2 dalam fungsi kerugian. Jika Anda melihat grafik fungsi skalar x (x …

16 regression  lasso  regularization 

Sudah ada posting di situs ini yang membicarakan masalah yang sama: Mengapa penyusutan berfungsi? Tetapi, meskipun jawabannya populer, saya tidak percaya inti dari pertanyaan itu benar-benar ditanggapi. Cukup jelas bahwa memperkenalkan beberapa bias dalam estimasi membawa pengurangan varians dan dapat meningkatkan kualitas estimasi. Namun: 1) Mengapa kerusakan yang dilakukan dengan …

15 regularization  ridge-regression  shrinkage 

Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier. Pertanyaan: Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)? Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag maksimum yang dipilih sebelumnya ( pmaxpmaxp_{max} , qmaxqmaxq_{max} ) dan kemudian memilih …

15 time-series  arima  lasso  regularization  ridge-regression 

Saya telah membaca buku-buku paling populer dalam pembelajaran statistik 1- Unsur-unsur pembelajaran statistik. 2- Pengantar pembelajaran statistik . Keduanya menyebutkan bahwa regresi ridge memiliki dua formula yang setara. Apakah ada bukti matematis yang dapat dimengerti dari hasil ini? Saya juga melewati Cross Validated , tetapi saya tidak dapat menemukan bukti …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Katakanlah saya memiliki penggolong regresi logistik. Dalam pembelajaran batch normal, saya akan memiliki istilah regularizer untuk mencegah overfitting dan menjaga bobot saya kecil. Saya juga akan menormalkan dan memperbesar fitur saya. Dalam pengaturan pembelajaran online, saya mendapatkan aliran data yang berkelanjutan. Saya melakukan pembaruan gradient descent dengan setiap contoh dan …

15 machine-learning  normalization  regularization  online 

Saya menganalisis set data menggunakan model efek campuran dengan satu efek tetap (kondisi) dan dua efek acak (peserta karena desain subjek dan pasangan dalam). Model ini dihasilkan dengan lme4paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Selanjutnya, saya melakukan uji rasio kemungkinan model ini terhadap model tanpa efek tetap (kondisi) dan memiliki perbedaan yang signifikan. Ada …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Tentukan perkiraan lasso ß λ = arg min ß ∈ R p 1β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,manaithithi^{th}barisxi∈Rpxi∈Rpx_i \in \mathbb{R}^pdari matriks desainX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}adalah vektor kovariat untuk menjelaskan respons stokastikyiyiy_i(untuki=1,…ni=1,…ni=1, \dots n). Kita tahu bahwa untuk λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty, …

14 lasso  regularization 

Dalam regresi ridge, fungsi tujuan harus diminimalkan adalah: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bisakah ini dioptimalkan menggunakan metode pengali Lagrange? Atau apakah itu diferensiasi langsung?

14 regression  regularization  ridge-regression 

Sebuah L1L1L_1 norma adalah unik (setidaknya sebagian) karena p=1p=1p=1 adalah pada batas antara non-cembung dan cembung. Sebuah L1L1L_1 norma adalah 'yang paling jarang' cembung norma (kanan?). Saya mengerti bahwa p=2p=2p=2 norma Euclidean memiliki akar dalam geometri dan memiliki interpretasi yang jelas ketika dimensi memiliki unit yang sama. Tapi saya tidak …

13 regression  regularization  sparse 

\newcommand{\diag}{\operatorname{diag}} Kami memiliki masalah: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), dengan asumsi bahwa: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Apakah ada solusi bentuk tertutup dalam kasus ini? Saya punya itu: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), jadi saya pikir jawabannya adalah : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, untuk yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , tapi saya tidak yakin.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Saya memodelkan 15.000 tweet untuk prediksi sentimen menggunakan LSTM lapisan tunggal dengan 128 unit tersembunyi menggunakan representasi seperti word2vec dengan 80 dimensi. Saya mendapatkan akurasi keturunan (38% dengan acak = 20%) setelah 1 zaman. Lebih banyak pelatihan membuat akurasi validasi mulai menurun ketika akurasi pelatihan mulai naik - tanda yang …

13 deep-learning  regularization  overfitting  lstm 

Dalam bagian 3.2 dari Pengenalan Pola Uskup dan Pembelajaran Mesin , dia membahas dekomposisi bias-varians, yang menyatakan bahwa untuk fungsi kerugian kuadrat, kerugian yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh rata-rata prediksi dari yang benar. model), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), …

13 self-study  variance  bias  regularization  loss-functions 

Ada beberapa makalah matematika-berat yang menggambarkan Bayesian Lasso, tapi saya ingin menguji, kode JAGS benar yang bisa saya gunakan. Bisakah seseorang memposting sampel kode BUGS / JAGS yang mengimplementasikan regresi logistik yang diatur? Skema apa pun (L1, L2, Elasticnet) akan bagus, tetapi Lasso lebih disukai. Saya juga bertanya-tanya apakah ada …

13 bayesian  logistic  lasso  jags  regularization 

Saya ingin mendapatkan koefisien untuk masalah LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Masalahnya adalah fungsi glmnet dan lars memberikan jawaban yang berbeda. Untuk fungsi glmnet, saya meminta koefisien bukan hanya λ , tapi saya masih mendapatkan jawaban yang berbeda.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Apakah ini yang diharapkan? Apa hubungan antara lars dan glmnet λ ? Saya mengerti …

13 r  machine-learning  regression  lasso  regularization