Pertanyaan yang diberi tag «lasso»

Dalam skenario regresi LASSO di mana y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , dan perkiraan LASSO diberikan oleh masalah optimisasi berikut minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Apakah ada asumsi distribusi tentang ϵϵ\epsilon ? Dalam skenario OLS, orang akan berharap bahwa ϵϵ\epsilon independen dan terdistribusi normal. Apakah masuk akal …

18 regression  lasso  assumptions  residuals 

Estimator regresi yang dihukum seperti LASSO dan ridge dikatakan sesuai dengan estimator Bayesian dengan prior tertentu. Saya kira (karena saya tidak tahu cukup tentang statistik Bayesian) bahwa untuk parameter penyetelan tetap, ada beton yang sesuai sebelumnya. Sekarang frequentist akan mengoptimalkan parameter tuning dengan validasi silang. Apakah ada padanan Bayesian dalam …

17 bayesian  lasso  ridge-regression 

Saya menjalankan LASSO yang memiliki beberapa prediktor variabel variabel dan beberapa yang kontinu. Saya punya pertanyaan tentang variabel kategori. Langkah pertama yang saya mengerti adalah memecah mereka masing-masing menjadi boneka, membakukan mereka untuk hukuman yang adil, dan kemudian mundur. Beberapa opsi muncul untuk merawat variabel dummy: Masukkan semua kecuali satu …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Diberikan variabel dependen kontinu y dan variabel independen termasuk variabel ordinal X 1 , bagaimana cara memasukkan model linier R? Apakah ada makalah tentang model jenis ini?

17 r  regression  lasso  ordinal-data  predictor 

Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien (melihat prediktor mana yang signifikan secara statistik). Saya ingin mendengar …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Saya menggunakan Lasso untuk pemilihan fitur dalam pengaturan dimensi yang relatif rendah (n >> p). Setelah memasang model Lasso, saya ingin menggunakan kovariat dengan koefisien bukan nol agar sesuai dengan model tanpa penalti. Saya melakukan ini karena saya ingin perkiraan yang tidak bias yang tidak dapat diberikan oleh Lasso kepada …

17 regression  feature-selection  lasso  unbiased-estimator 

Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso, ElasticNet, dan Ridge), Ridge …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Saat menjelaskan regresi LASSO, diagram berlian dan lingkaran sering digunakan. Dikatakan bahwa karena bentuk kendala dalam LASSO adalah berlian, solusi kuadrat terkecil yang diperoleh mungkin menyentuh sudut berlian sedemikian rupa sehingga menyebabkan penyusutan beberapa variabel. Namun, dalam regresi ridge, karena itu adalah sebuah lingkaran, seringkali tidak akan menyentuh sumbu. Saya …

16 regression  lasso  ridge-regression 

Saya mencoba membaca tentang penelitian di bidang regresi dimensi tinggi; ketika ppp lebih besar dari nnn , yaitu, p>>np>>np >> n . Sepertinya istilah logp/nlog⁡p/n\log p/n sering muncul dalam hal tingkat konvergensi untuk estimator regresi. Sebagai contoh, di sini , persamaan (17) mengatakan bahwa fit β^β^\hat{\beta} memenuhi 1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - …

16 regression  lasso  convergence  high-dimensional 

Jika kita mulai dengan satu set data , menerapkan Lasso untuk itu dan mendapatkan solusi β L , kita dapat menerapkan Lasso lagi ke set data ( X S , Y ) , di mana S adalah himpunan bukan-nol indeks β L , untuk mendapatkan solusi, β R L , …

16 regression  optimization  lasso  regularization  shrinkage 

Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa kisaran nilai yang harus diperiksa? Apakah itu …

16 regression  lasso  regularization  ridge-regression  penalized 

Pertimbangkan regresi linier dengan beberapa regularisasi: Misalnya Find yang meminimalkan | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Biasanya, kolom A distandarisasi untuk memiliki rata-rata nol dan norma satuan, sedangkan berpusat untuk memiliki rata-rata nol. Saya ingin memastikan apakah …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Jika Anda melihat bagian atas tulisan ini, penulis menyebutkan bahwa norma L2 memiliki solusi yang unik dan norma L1 memiliki banyak solusi. Saya mengerti ini dalam hal regularisasi, tetapi tidak dalam hal menggunakan norma L1 atau norma L2 dalam fungsi kerugian. Jika Anda melihat grafik fungsi skalar x (x …

16 regression  lasso  regularization 

Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier. Pertanyaan: Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)? Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag maksimum yang dipilih sebelumnya ( pmaxpmaxp_{max} , qmaxqmaxq_{max} ) dan kemudian memilih …

15 time-series  arima  lasso  regularization  ridge-regression 

Saya mencoba melihat apakah akan menggunakan regresi ridge , LASSO , regresi komponen utama (PCR), atau Partial Least Squares (PLS) dalam situasi di mana ada sejumlah besar variabel / fitur ( ) dan jumlah sampel yang lebih kecil ( n < p ), dan tujuan saya adalah prediksi.pppn<pn<pn np>10np>10np>10n Variabel …

15 regression  pca  lasso  ridge-regression  partial-least-squares