Pertanyaan yang diberi tag «shrinkage»

Saya mencari definisi non-teknis dari laso dan apa yang digunakan untuk itu.

82 regression  lasso  regularization  shrinkage 

Perhatikan tiga fenomena berikut. Paradoks Stein: diberikan beberapa data dari distribusi normal multivariat dalam Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , rata-rata sampel bukan penaksir yang sangat baik dari rata-rata sebenarnya. Seseorang dapat memperoleh estimasi dengan kesalahan kuadrat rata-rata yang lebih rendah jika seseorang mengecilkan semua koordinat sampel rata-rata menuju nol …

65 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

Musim liburan telah memberi saya kesempatan untuk meringkuk di samping api dengan The Elements of Statistics Learning . Berasal dari perspektif ekonometrik (sering), saya mengalami kesulitan memahami penggunaan metode penyusutan seperti regresi ridge, laso, dan regresi sudut terkecil (LAR). Biasanya, saya tertarik pada estimasi parameter sendiri dan dalam mencapai ketidakberpihakan …

61 lasso  ridge-regression  shrinkage  lars 

Saya mengerti bahwa estimasi regresi ridge adalah yang meminimalkan jumlah sisa kuadrat dan penalti pada ukuranββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Namun, saya tidak sepenuhnya memahami pentingnya fakta bahwa βridgeβridge\beta_\text{ridge} berbeda dari βOLSβOLS\beta_\text{OLS} dengan hanya menambahkan konstanta kecil ke diagonal X′XX′XX'X . Memang, …

59 regression  least-squares  ridge-regression  shrinkage 

Untuk menyelesaikan masalah pemilihan model, sejumlah metode (LASSO, ridge regression, dll.) Akan mengecilkan koefisien variabel prediktor menjadi nol. Saya mencari penjelasan intuitif mengapa ini meningkatkan kemampuan prediksi. Jika efek sebenarnya dari variabel itu sebenarnya sangat besar, mengapa tidak menyusutkan parameter menghasilkan prediksi yang lebih buruk?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Pertimbangkan masalah regresi lama yang baik dengan prediktor dan ukuran sampel n . Kebijaksanaan yang biasa adalah bahwa penaksir OLS akan melampaui batas dan umumnya akan dikalahkan oleh penaksir regresi ridge: \ hat \ beta = (X ^ \ X atas + + lambda I) ^ {- 1} X ^ …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Apa rumus tepat yang digunakan dalam R lm() untuk Adjusted R-squared? Bagaimana saya bisa menafsirkannya? Formula r-squared yang disesuaikan Tampaknya ada beberapa rumus untuk menghitung R-kuadrat Disesuaikan. Formula Wherry:1 - ( 1 - R2) ( n - 1 )( n - v )1-(1-R2)(n-1)(n-v)1-(1-R^2)\frac{(n-1)}{(n-v)} Formula McNemar:1 - ( 1 - R2) …

35 r  regression  r-squared  lm  shrinkage 

Saya telah membaca tiga alasan utama untuk menstandarkan variabel sebelum sesuatu seperti Lassoregresi: 1) Interpretabilitas koefisien. 2) Kemampuan untuk menentukan peringkat kepentingan koefisien dengan besarnya relatif estimasi koefisien pasca penyusutan. 3) Tidak perlu mencegat. Tetapi saya bertanya-tanya tentang hal yang paling penting. Apakah kita memiliki alasan untuk berpikir bahwa standardisasi …

28 normalization  lasso  standardization  regularization  shrinkage 

Kertas jaring elastis asli Zou & Hastie (2005) Regularisasi dan pemilihan variabel melalui jaring elastis memperkenalkan fungsi kerugian bersih elastis untuk regresi linier (di sini saya berasumsi semua variabel berpusat dan diskalakan ke varian unit): tetapi menyebutnya "jaring elastis naif". Mereka berpendapat bahwa itu melakukan penyusutan ganda (laso dan punggungan), …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Saya pernah mendengar metode menggunakan laso dua kali (seperti laso ganda) di mana Anda melakukan laso pada set variabel asli, katakan S1, dapatkan set jarang yang disebut S2, dan kemudian lakukan laso lagi pada set S2 untuk mendapatkan set S3 . Apakah ada istilah metodologis untuk ini? Juga, apa keuntungan …

26 regression  lasso  regularization  shrinkage  lars 

Regresi LASSO menyusutkan koefisien ke nol, sehingga memberikan pemilihan model yang efektif. Saya percaya bahwa dalam data saya ada interaksi yang bermakna antara kovariat nominal dan kontinu. Namun tidak harus, 'efek utama' dari model yang sebenarnya bermakna (bukan nol). Tentu saja saya tidak tahu ini karena model yang sebenarnya tidak …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Untuk model linier , istilah susutnya selalu .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Apa alasannya mengapa kami tidak mengecilkan bias (intersep) istilah ? Haruskah kita mengecilkan istilah bias dalam model jaringan saraf?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya sedang menerapkan tes statistik di mana saya …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Saya telah membaca tentang estimator James-Stein. Ini didefinisikan, dalam catatan ini , sebagai θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X Saya telah membaca buktinya tetapi saya tidak mengerti pernyataan berikut: Secara geometris, estimator James-Stein menyusut setiap komponen menuju titik asal ...XXX Apa arti "menyusutkan setiap komponen XXX ke titik asal"? Saya sedang memikirkan …

19 estimation  terminology  shrinkage  steins-phenomenon 

Saya punya pertanyaan tentang penghitungan faktor Penyusutan James-Stein dalam makalah Scientific American 1977 oleh Bradley Efron dan Carl Morris, "Stein's Paradox in Statistics" . Saya mengumpulkan data untuk pemain baseball dan diberikan di bawah ini: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 …

18 estimation  shrinkage  steins-phenomenon