Pertanyaan yang diberi tag «ridge-regression»

Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut. Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah melihat perilaku ini "di alam liar," dan …

18 lasso  ridge-regression  elastic-net 

Saya menggunakan regresi ridge pada data yang sangat multikolinier. Menggunakan OLS saya mendapatkan kesalahan standar besar pada koefisien karena multikolinieritas. Saya tahu regresi ridge adalah cara untuk menangani masalah ini, tetapi dalam semua implementasi regresi ridge yang saya lihat, tidak ada kesalahan standar yang dilaporkan untuk koefisien. Saya ingin beberapa …

18 standard-error  ridge-regression 

Apa perbedaan antara Regresi Primal , Dual dan Kernel Ridge? Orang-orang menggunakan ketiganya, dan karena notasi yang berbeda yang digunakan setiap orang pada sumber yang berbeda sulit untuk saya ikuti. Jadi bisakah seseorang memberi tahu saya dengan kata-kata sederhana apa perbedaan antara ketiganya? Selain itu apa yang bisa menjadi kelebihan …

18 regression  kernel-trick  ridge-regression 

Estimator regresi yang dihukum seperti LASSO dan ridge dikatakan sesuai dengan estimator Bayesian dengan prior tertentu. Saya kira (karena saya tidak tahu cukup tentang statistik Bayesian) bahwa untuk parameter penyetelan tetap, ada beton yang sesuai sebelumnya. Sekarang frequentist akan mengoptimalkan parameter tuning dengan validasi silang. Apakah ada padanan Bayesian dalam …

17 bayesian  lasso  ridge-regression 

Saya menerapkan Ridge Regression dalam modul Python / C, dan saya telah menemukan masalah "kecil" ini. Idenya adalah bahwa saya ingin sampel derajat efektif kebebasan kurang lebih sama spasi (seperti plot pada halaman 65 pada "Elemen statistik Learning" ), yaitu, sampel: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda}, manad2idi2d_i^2 adalah nilai eigen dari matriksXTXXTXX^TX, daridf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0hinggadf(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=p. …

17 ridge-regression 

Selama percobaan untuk klasifikasi teks, saya menemukan classifier ridge menghasilkan hasil yang secara konstan berada di atas tes di antara classifier yang lebih umum disebutkan dan diterapkan untuk tugas-tugas penambangan teks, seperti SVM, NB, kNN, dll. Meskipun, saya belum menguraikan tentang cara mengoptimalkan setiap classifier pada tugas klasifikasi teks khusus …

17 machine-learning  classification  text-mining  ridge-regression 

Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien (melihat prediktor mana yang signifikan secara statistik). Saya ingin mendengar …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Saya memiliki 150 fitur, dan banyak di antaranya sangat berkorelasi satu sama lain. Tujuan saya adalah untuk memprediksi nilai variabel diskrit, yang kisarannya 1-8 . Ukuran sampel saya adalah 550 , dan saya menggunakan validasi silang 10 kali lipat . AFAIK, di antara metode regularisasi (Lasso, ElasticNet, dan Ridge), Ridge …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Pertimbangkan masalah regresi OLS standar\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}: Saya memiliki matriks YY\Y dan XX\X dan saya ingin mencari ββ\B untuk meminimalkan L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Solusinya diberikan oleh β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Saya juga dapat menimbulkan masalah "terbalik": mengingat YY\Y dan β∗β∗\B^* , cari X^X^\hat\X yang akan menghasilkan β^≈β∗β^≈β∗\hat\B\approx \B^* , yaitu akan meminimalkan …

16 regression  least-squares  ridge-regression 

Saat menjelaskan regresi LASSO, diagram berlian dan lingkaran sering digunakan. Dikatakan bahwa karena bentuk kendala dalam LASSO adalah berlian, solusi kuadrat terkecil yang diperoleh mungkin menyentuh sudut berlian sedemikian rupa sehingga menyebabkan penyusutan beberapa variabel. Namun, dalam regresi ridge, karena itu adalah sebuah lingkaran, seringkali tidak akan menyentuh sumbu. Saya …

16 regression  lasso  ridge-regression 

Ridge perkiraan regresi parameter ββ\boldsymbol \beta dalam model linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta oleh β λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , di mana λ adalah parameter regularisasi. Sudah diketahui bahwa sering berkinerja lebih baik daripada regresi OLS …

16 regression  ridge-regression  shrinkage 

Dalam laso atau regresi ridge, kita harus menentukan parameter penyusutan, sering disebut dengan atau . Nilai ini sering dipilih melalui validasi silang dengan memeriksa sekelompok nilai yang berbeda pada data pelatihan dan melihat mana yang menghasilkan yang terbaik misalnya pada data uji. Berapa kisaran nilai yang harus diperiksa? Apakah itu …

16 regression  lasso  regularization  ridge-regression  penalized 

Sudah ada posting di situs ini yang membicarakan masalah yang sama: Mengapa penyusutan berfungsi? Tetapi, meskipun jawabannya populer, saya tidak percaya inti dari pertanyaan itu benar-benar ditanggapi. Cukup jelas bahwa memperkenalkan beberapa bias dalam estimasi membawa pengurangan varians dan dapat meningkatkan kualitas estimasi. Namun: 1) Mengapa kerusakan yang dilakukan dengan …

15 regularization  ridge-regression  shrinkage 

Saya mengetahui jenis LASSO, ridge, dan elastisitas-net dalam model regresi linier. Pertanyaan: Bisakah estimasi jenis ini (atau sejenisnya) diterapkan pada pemodelan ARIMA (dengan bagian MA yang tidak kosong)? Dalam membangun model ARIMA, tampaknya biasa untuk mempertimbangkan urutan lag maksimum yang dipilih sebelumnya ( pmaxpmaxp_{max} , qmaxqmaxq_{max} ) dan kemudian memilih …

15 time-series  arima  lasso  regularization  ridge-regression 

Saya mencoba melihat apakah akan menggunakan regresi ridge , LASSO , regresi komponen utama (PCR), atau Partial Least Squares (PLS) dalam situasi di mana ada sejumlah besar variabel / fitur ( ) dan jumlah sampel yang lebih kecil ( n < p ), dan tujuan saya adalah prediksi.pppn<pn<pn np>10np>10np>10n Variabel …

15 regression  pca  lasso  ridge-regression  partial-least-squares