Pertanyaan yang diberi tag «shrinkage»

Ridge perkiraan regresi parameter ββ\boldsymbol \beta dalam model linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta oleh β λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , di mana λ adalah parameter regularisasi. Sudah diketahui bahwa sering berkinerja lebih baik daripada regresi OLS …

16 regression  ridge-regression  shrinkage 

Jika kita mulai dengan satu set data , menerapkan Lasso untuk itu dan mendapatkan solusi β L , kita dapat menerapkan Lasso lagi ke set data ( X S , Y ) , di mana S adalah himpunan bukan-nol indeks β L , untuk mendapatkan solusi, β R L , …

16 regression  optimization  lasso  regularization  shrinkage 

Sudah ada posting di situs ini yang membicarakan masalah yang sama: Mengapa penyusutan berfungsi? Tetapi, meskipun jawabannya populer, saya tidak percaya inti dari pertanyaan itu benar-benar ditanggapi. Cukup jelas bahwa memperkenalkan beberapa bias dalam estimasi membawa pengurangan varians dan dapat meningkatkan kualitas estimasi. Namun: 1) Mengapa kerusakan yang dilakukan dengan …

15 regularization  ridge-regression  shrinkage 

Saya tertarik dengan gagasan penyusutan James-Stein (yaitu bahwa fungsi nonlinier dari pengamatan tunggal terhadap suatu vektor yang normalnya independen dapat menjadi penaksir yang lebih baik dari rata-rata variabel acak, di mana 'lebih baik' diukur dengan kuadrat kesalahan ). Namun, saya belum pernah melihatnya dalam pekerjaan terapan. Jelas saya tidak cukup …

15 estimation  error  shrinkage  application  steins-phenomenon 

Apakah ada hasil analitik atau makalah eksperimental mengenai pilihan optimal dari koefisien hukuman ℓ1ℓ1\ell_1 . Secara optimal , maksud saya parameter yang memaksimalkan probabilitas memilih model terbaik, atau yang meminimalkan kerugian yang diharapkan. Saya bertanya karena seringkali tidak praktis untuk memilih parameter dengan cross-validation atau bootstrap, baik karena sejumlah besar …

15 model-selection  lasso  shrinkage 

Kata susut banyak dilemparkan ke lingkaran tertentu. Tapi apa susutnya, sepertinya tidak ada definisi yang jelas. Jika saya memiliki deret waktu (atau kumpulan pengamatan dari suatu proses), apa sajakah cara saya dapat mengukur beberapa jenis penyusutan empiris pada deret tersebut? Apa saja jenis susut teoretis yang dapat saya bicarakan? Bagaimana …

13 estimation  predictive-models  shrinkage 

Zou et al. "Pada" derajat kebebasan "dari laso" (2007) menunjukkan bahwa jumlah koefisien bukan nol adalah perkiraan yang tidak bias dan konsisten untuk derajat kebebasan laso. Sepertinya agak berlawanan dengan intuisi saya. Misalkan kita memiliki model regresi (di mana variabelnya nol rata-rata) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. Misalkan perkiraan OLS yang …

12 regression  lasso  degrees-of-freedom  shrinkage 

Misalkan saya memiliki dua estimator dan yang merupakan estimator konsisten dari parameter yang sama dan sedemikian rupa sehingga dengan dalam arti psd. Dengan demikian, asymptotically lebih efisien daripada . Kedua penaksir ini didasarkan pada fungsi kerugian yang berbeda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 …

11 regression  ridge-regression  shrinkage  penalized 

Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat menggunakan CV untuk menemukan parameter regularisasi yang optimal (mengatakan penalti). Sekarang …

11 lasso  regularization  shrinkage 

Setiap pernyataan yang saya temukan dari estimator James-Stein mengasumsikan bahwa variabel acak yang diperkirakan memiliki varians yang sama (dan satuan). Tetapi semua contoh ini juga menyebutkan bahwa estimator JS dapat digunakan untuk memperkirakan jumlah yang tidak ada hubungannya satu sama lain. Contoh wikipedia adalah kecepatan cahaya, konsumsi teh di Taiwan, …

11 estimation  shrinkage  steins-phenomenon 

Demi contoh sederhana berasumsi bahwa ada dua model regresi linier Model 1 memiliki tiga prediktor, x1a, x2b, danx2c Model 2 memiliki tiga prediktor dari model 1 dan dua prediktor tambahan x2adanx2b Ada persamaan regresi populasi di mana varians populasi yang dijelaskan adalah untuk Model 1 dan untuk Model 2. Varian …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Misalkan saya memiliki data longitudinal dari bentuk (Saya memiliki beberapa pengamatan, ini hanya bentuk yang tunggal). Saya tertarik pada pembatasan . tidak dibatasi setara dengan mengambil dengan .Σ Σ Y j = α j + j - 1 Σ ℓ = 1 φ ℓ j Y j - ℓ + …

9 feature-selection  lasso  shrinkage 

Misalkan saya telah memasangkan pengamatan yang ditarik iid sebagai untuk . Misalkan dan dilambangkan dengan yang th nilai yang diamati terbesar . Apa distribusi (bersyarat) ? (atau setara dengan )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Yaitu, apa distribusi bersyarat pada menjadi yang ke- terbesar dari nilai …

9 distributions  order-statistics  shrinkage 

Saya bingung tentang analisis permutasi untuk pemilihan fitur dalam konteks regresi logistik. Bisakah Anda memberikan penjelasan yang jelas tentang tes permutasi acak dan bagaimana hal itu berlaku untuk pemilihan fitur? Mungkin dengan algoritma dan contoh yang tepat. Akhirnya, Bagaimana perbandingannya dengan metode penyusutan lain seperti Lasso atau LAR?

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Saya ingin memperkirakan GLM hirarkis tetapi dengan pemilihan fitur untuk menentukan kovariat mana yang relevan pada tingkat populasi untuk dimasukkan. Misalkan saya punya GGGgrup dengan pengamatan dan kemungkinan kovariat Yaitu, saya memiliki matriks desain kovariat , hasil . Koefisien pada kovariat ini adalah .NNNKKKx(N⋅G)×Kx(N⋅G)×K\boldsymbol{x}_{(N\cdot G) \times K}y(N⋅G)×1y(N⋅G)×1\boldsymbol{y}_{(N\cdot G) \times 1}βK×1βK×1\beta_{K …

8 machine-learning  bayesian  feature-selection  hierarchical-bayesian  shrinkage