Pertanyaan yang diberi tag «lasso»

Saya masih baru dalam glmnetpaket ini, dan saya masih tidak yakin bagaimana menafsirkan hasilnya. Adakah yang bisa membantu saya membaca plot jejak berikut? Grafik diperoleh dengan menjalankan yang berikut: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, …

15 r  data-visualization  interpretation  lasso  glmnet 

Saya telah bertanya-tanya, mengapa metode pemilihan model LASSO dan LARS begitu populer walaupun pada dasarnya mereka hanyalah variasi dari seleksi langkah-ke depan (dan karenanya menderita ketergantungan jalur)? Demikian pula, mengapa metode General to Specific (GETS) untuk pemilihan model sebagian besar diabaikan, meskipun mereka melakukan lebih baik daripada LARS / LASSO …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Saya telah membaca buku-buku paling populer dalam pembelajaran statistik 1- Unsur-unsur pembelajaran statistik. 2- Pengantar pembelajaran statistik . Keduanya menyebutkan bahwa regresi ridge memiliki dua formula yang setara. Apakah ada bukti matematis yang dapat dimengerti dari hasil ini? Saya juga melewati Cross Validated , tetapi saya tidak dapat menemukan bukti …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Apakah ada hasil analitik atau makalah eksperimental mengenai pilihan optimal dari koefisien hukuman ℓ1ℓ1\ell_1 . Secara optimal , maksud saya parameter yang memaksimalkan probabilitas memilih model terbaik, atau yang meminimalkan kerugian yang diharapkan. Saya bertanya karena seringkali tidak praktis untuk memilih parameter dengan cross-validation atau bootstrap, baik karena sejumlah besar …

15 model-selection  lasso  shrinkage 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 3 tahun yang lalu . Saya sedang membangun regresi logistik di R menggunakan metode LASSO dengan fungsi cv.glmnetuntuk memilih lambdadan glmnetuntuk model akhir. Saya sudah …

15 r  logistic  categorical-data  lasso  glmnet 

Tentukan perkiraan lasso ß λ = arg min ß ∈ R p 1β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,manaithithi^{th}barisxi∈Rpxi∈Rpx_i \in \mathbb{R}^pdari matriks desainX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}adalah vektor kovariat untuk menjelaskan respons stokastikyiyiy_i(untuki=1,…ni=1,…ni=1, \dots n). Kita tahu bahwa untuk λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty, …

14 lasso  regularization 

Saya ingin membuat hutan acak menggunakan proses berikut: Bangun pohon pada sampel data dan fitur acak menggunakan penguatan informasi untuk menentukan pemisahan Hentikan simpul daun jika melebihi kedalaman yang telah ditentukan ATAU perpecahan apa pun akan menghasilkan jumlah daun kurang dari minimum yang telah ditentukan Daripada menetapkan label kelas untuk …

14 classification  random-forest  lasso  ensemble 

Pemahaman umum saya adalah AIC berkaitan dengan pertukaran antara kebaikan model dan kompleksitas model. A IC= 2 k - 2 l n ( L )SEBUAHsayaC=2k-2ln(L)AIC =2k -2ln(L) = jumlah parameter dalam modelkkk = kemungkinanLLL Kriteria informasi Bayesian BIC terkait erat dengan AIC. AIC menghukum jumlah parameter kurang kuat daripada BIC. …

14 cross-validation  lasso  aic  ridge-regression  bic 

Berapakah kompleksitas waktu asimtotik dari regresi Lasso ketika jumlah baris atau kolom bertambah?

14 lasso  time-complexity 

Saya membaca tentang pemilihan subset terbaik dalam Elemen buku pembelajaran statistik. Jika saya memiliki 3 prediktor , saya membuat 2 3 = 8x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 himpunan bagian: Subset tanpa prediktor himpunan bagian dengan prediktor x1x1x_1 himpunan bagian dengan prediktor x2x2x_2 bagian dengan prediktor x3x3x_3 himpunan bagian dengan prediktor x1,x2x1,x2x_1,x_2 himpunan bagian dengan …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} Kami memiliki masalah: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), dengan asumsi bahwa: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Apakah ada solusi bentuk tertutup dalam kasus ini? Saya punya itu: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), jadi saya pikir jawabannya adalah : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, untuk yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , tapi saya tidak yakin.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Salah satu motivasi untuk jaring elastis adalah batasan LASSO sebagai berikut: Dalam kasus p>np>np > n , laso memilih paling banyak n variabel sebelum jenuh, karena sifat masalah optimisasi cembung. Ini tampaknya menjadi fitur pembatas untuk metode pemilihan variabel. Selain itu, laso tidak didefinisikan dengan baik kecuali jika terikat pada …

13 regression  optimization  feature-selection  lasso 

Ada beberapa makalah matematika-berat yang menggambarkan Bayesian Lasso, tapi saya ingin menguji, kode JAGS benar yang bisa saya gunakan. Bisakah seseorang memposting sampel kode BUGS / JAGS yang mengimplementasikan regresi logistik yang diatur? Skema apa pun (L1, L2, Elasticnet) akan bagus, tetapi Lasso lebih disukai. Saya juga bertanya-tanya apakah ada …

13 bayesian  logistic  lasso  jags  regularization 

Tabel 18.1 dalam Elemen Pembelajaran Statistik merangkum kinerja beberapa pengklasifikasi pada set data 14 kelas. Saya membandingkan algoritma baru dengan laso dan jaring elastis untuk masalah klasifikasi multikelas. Menggunakan glmnetversi 1.5.3 (R 2.13.0) saya tidak dapat mereproduksi titik 7. (yang multinomial -penalized) pada tabel, di mana jumlah gen yang digunakan …

13 classification  lasso  glmnet 

Saya ingin mendapatkan koefisien untuk masalah LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Masalahnya adalah fungsi glmnet dan lars memberikan jawaban yang berbeda. Untuk fungsi glmnet, saya meminta koefisien bukan hanya λ , tapi saya masih mendapatkan jawaban yang berbeda.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda Apakah ini yang diharapkan? Apa hubungan antara lars dan glmnet λ ? Saya mengerti …

13 r  machine-learning  regression  lasso  regularization