Pertanyaan yang diberi tag «ridge-regression»

Saya telah mendengar bahwa regresi ridge dapat diturunkan sebagai rata-rata distribusi posterior, jika prior dipilih secara memadai. Apakah intuisi bahwa kendala seperti yang ditetapkan pada koefisien regresi oleh sebelumnya (misalnya distribusi normal standar sekitar 0) adalah identik / ganti hukuman yang ditetapkan pada ukuran kuadrat dari koefisien? Apakah sebelumnya harus …

15 bayesian  prior  ridge-regression 

Dalam "Elemen Pembelajaran Statistik" (edisi ke-2), hal63, penulis memberikan dua formulasi berikut dari masalah regresi ridge: β^r i dge= argminβ{ ¢i = 1N( ysaya- β0- ∑j = 1halxsaya jβj)2+ λ ∑j = 1halβ2j}β^rsayadge=Argminβ{∑saya=1N(ysaya-β0-∑j=1halxsayajβj)2+λ∑j=1halβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} dan β^r i dge= argminβ∑i …

15 ridge-regression 

Saya telah membaca buku-buku paling populer dalam pembelajaran statistik 1- Unsur-unsur pembelajaran statistik. 2- Pengantar pembelajaran statistik . Keduanya menyebutkan bahwa regresi ridge memiliki dua formula yang setara. Apakah ada bukti matematis yang dapat dimengerti dari hasil ini? Saya juga melewati Cross Validated , tetapi saya tidak dapat menemukan bukti …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Saat menjalankan regresi ridge, bagaimana Anda menginterpretasikan koefisien yang berakhir lebih besar dari koefisien yang sesuai di bawah kuadrat terkecil (untuk nilai λλ\lambda )? Bukankah regresi ridge seharusnya mengecilkan koefisien secara monoton? Pada catatan terkait, bagaimana seseorang menginterpretasikan koefisien yang tandanya berubah selama regresi ridge (yaitu, jejak ridge melintasi dari …

14 interpretation  regression-coefficients  ridge-regression 

Dalam regresi ridge, fungsi tujuan harus diminimalkan adalah: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bisakah ini dioptimalkan menggunakan metode pengali Lagrange? Atau apakah itu diferensiasi langsung?

14 regression  regularization  ridge-regression 

Pemahaman umum saya adalah AIC berkaitan dengan pertukaran antara kebaikan model dan kompleksitas model. A IC= 2 k - 2 l n ( L )SEBUAHsayaC=2k-2ln(L)AIC =2k -2ln(L) = jumlah parameter dalam modelkkk = kemungkinanLLL Kriteria informasi Bayesian BIC terkait erat dengan AIC. AIC menghukum jumlah parameter kurang kuat daripada BIC. …

14 cross-validation  lasso  aic  ridge-regression  bic 

Saya ingin menghitung AICc dari model regresi ridge. Masalahnya adalah jumlah parameter. Untuk regresi linier, kebanyakan orang menyarankan bahwa jumlah parameter sama dengan jumlah koefisien estimasi ditambah sigma (varian kesalahan). Ketika datang ke regresi ridge saya membaca bahwa jejak matriks topi - derajat kebebasan (df) - hanya digunakan sebagai jumlah …

13 regression  aic  ridge-regression  degrees-of-freedom 

Saya belajar tentang regresi ridge dan tahu bahwa regresi ridge cenderung bekerja lebih baik dengan adanya multikolinieritas. Saya bertanya-tanya mengapa ini benar? Entah jawaban intuitif atau matematika akan memuaskan (kedua jenis jawaban akan lebih memuaskan). Juga, saya tahu bahwa selalu dapat diperoleh, tetapi seberapa baik ridge regression bekerja di hadapan …

13 multicollinearity  ridge-regression 

Saya menggunakan paket 'lars' dalam R dengan kode berikut: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Saya telah membaca bahwa regresi ridge dapat dicapai dengan hanya menambahkan baris data ke matriks data asli, di mana setiap baris dibangun menggunakan 0 untuk variabel dependen dan akar kuadrat dari atau nol untuk variabel independen. Satu baris tambahan kemudian ditambahkan untuk setiap variabel independen.kkk Saya bertanya-tanya apakah mungkin untuk …

12 logistic  generalized-linear-model  ridge-regression 

Saya mencari literatur tentang regresi ridge negatif . Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung dengan versi negatif dengan hanya rumus di atas. Kebetulan berguna untuk …

12 regression  regularization  ridge-regression 

Posting ini mengikuti yang ini: Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal? Ini pertanyaan saya: Sejauh yang saya tahu, regularisasi ridge menggunakan -norm (jarak euclidean). Tetapi mengapa kita menggunakan kuadrat dari norma ini? (aplikasi langsung akan menghasilkan dengan akar kuadrat dari jumlah beta kuadrat).ℓ …

12 lasso  regularization  ridge-regression 

Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan skor akurasi yang lebih rendah [yang mungkin disebabkan oleh ukuran …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Misalkan saya memiliki dua estimator dan yang merupakan estimator konsisten dari parameter yang sama dan sedemikian rupa sehingga dengan dalam arti psd. Dengan demikian, asymptotically lebih efisien daripada . Kedua penaksir ini didasarkan pada fungsi kerugian yang berbeda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 …

11 regression  ridge-regression  shrinkage  penalized