Pertanyaan yang diberi tag «model-selection»

Saya memiliki set data besar yang terdiri dari nilai beberapa ratus variabel keuangan yang dapat digunakan dalam regresi berganda untuk memprediksi perilaku dana indeks dari waktu ke waktu. Saya ingin mengurangi jumlah variabel menjadi sepuluh atau lebih sambil tetap mempertahankan kekuatan prediksi sebanyak mungkin. Ditambahkan: Rangkaian variabel yang dikurangi harus …

9 regression  multivariate-analysis  model-selection  multiple-regression 

BIC menghukum berdasarkan jumlah parameter. Bagaimana jika beberapa parameter adalah semacam variabel indikator biner? Apakah ini dianggap sebagai parameter penuh? Tapi saya bisa menggabungkan parameter binary menjadi satu variabel diskrit yang mengambil nilai dalam . Apakah ini dihitung sebagai parameter atau satu parameter?mmm{ 0 , 1 , . . . …

9 bayesian  model-selection  bic  parameterization 

Sedikit info lagi; seandainya Anda tahu sebelumnya berapa banyak variabel untuk dipilih dan bahwa Anda menetapkan penalti kompleksitas dalam prosedur LARS seperti memiliki banyak variabel dengan koefisien bukan 0, biaya perhitungan bukan masalah (jumlah total variabel kecil, katakanlah 50), bahwa semua variabel (y, x) kontinu. Dalam pengaturan apa model LARS …

9 regression  model-selection 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Untuk pemilihan prediktor dalam regresi linier multivariat dengan prediktor yang cocok, apa metode yang tersedia untuk menemukan 'optimal' subset dari prediktor tanpa secara eksplisit menguji semua 2 p subset? Dalam 'Analisis Kelangsungan Hidup Terapan,' Hosmer & Lemeshow membuat referensi ke metode Kuk, tetapi saya tidak dapat menemukan kertas aslinya. Adakah …

9 modeling  regression  multivariable  model-selection  feature-selection 

AIC sering direkomendasikan sebagai kriteria untuk membandingkan model untuk peramalan seri waktu. Lihat misalnya ini dalam konteks model regresi dinamis : AIC dapat dihitung untuk model akhir, dan nilai ini dapat digunakan untuk menentukan prediktor terbaik. Artinya, prosedur harus diulangi untuk mempertimbangkan semua himpunan bagian prediktor, dan model dengan nilai …

9 time-series  cross-validation  model-selection  arima  aic 

Saya telah melihat ada berbagai pertanyaan mengenai interpretasi dan pembangunan gams, yang tampaknya menggambarkan kesulitan bagi non-ahli statistik untuk berurusan dengan itu. Sayangnya, dari tidak ada thread atau tutorial yang saya baca, saya bisa mendapatkan pemahaman yang jelas tentang bagaimana membangun model yang bermakna. Saat ini saya sedang mempelajari pengaruh …

9 r  model-selection  gam 

Meskipun manfaat pemilihan model bertahap telah dibahas sebelumnya, menjadi tidak jelas bagi saya apa sebenarnya " pemilihan model bertahap " atau " regresi bertahap ". Saya pikir saya memahaminya, tetapi tidak begitu yakin lagi. Pemahaman saya adalah bahwa kedua istilah ini sinonim (setidaknya dalam konteks regresi), dan bahwa mereka merujuk …

8 multiple-regression  model-selection  aic  stepwise-regression 

Dalam entri Wikipedia untuk kriteria informasi Akaike , kita membaca di bawah Perbandingan dengan BIC (kriteria informasi Bayesian) yang ... AIC / AICc memiliki keunggulan teoritis dibandingkan BIC ... AIC / AICc berasal dari prinsip-prinsip informasi; BIC bukan ... BIC memiliki prioritas 1 / R (di mana R adalah jumlah …

8 model-selection  aic  prior  information-theory  bic 

Bagaimana seseorang dapat secara objektif (membaca "algoritmik") memilih model yang tepat untuk melakukan regresi linear kuadrat-sederhana dengan dua variabel? Sebagai contoh, katakanlah data tampaknya menunjukkan tren kuadratik, dan parabola dihasilkan yang cocok dengan data dengan cukup baik. Bagaimana kita membenarkan membuat regresi ini? Atau bagaimana kita menghilangkan kemungkinan ada model …

8 regression  forecasting  model-selection  prediction 

Proyek saya saat ini mungkin mengharuskan saya untuk membuat model untuk memprediksi perilaku sekelompok orang tertentu. set data pelatihan hanya berisi 6 variabel (id hanya untuk tujuan identifikasi): id, age, income, gender, job category, monthly spend di mana monthly spendadalah variabel respon. Tetapi dataset pelatihan berisi sekitar 3 juta baris, …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Saya memiliki satu set data kecil yang tidak seimbang (70 positif, 30 negatif), dan saya telah bermain-main dengan pemilihan model untuk parameter SVM menggunakan BAC (akurasi seimbang) dan AUC (area di bawah kurva). Saya menggunakan bobot kelas yang berbeda untuk parameter C di libSVM untuk mengimbangi data yang tidak seimbang …

8 svm  cross-validation  model-selection  auc 

Saya memiliki masalah regresi dengan variabel 5-6k. Saya membagi data saya menjadi 3 set yang tidak tumpang tindih: pelatihan, validasi, dan pengujian. Saya melatih hanya menggunakan set pelatihan, dan menghasilkan banyak model regresi linier yang berbeda dengan memilih serangkaian 200 variabel yang berbeda untuk masing-masing model (saya mencoba sekitar 100k …

8 regression  cross-validation  model-selection  r-squared  overfitting 

Apakah mungkin untuk melakukan pemilihan penuh parameter Bayesian (1) yang diperkirakan penuh (misalnya skala kovarian) dengan kode GPML, alih-alih memaksimalkan kemungkinan marginal (2)? Saya pikir menggunakan metode MCMC untuk menyelesaikan integral yang melibatkan hyper-parameter sebelumnya harus mengarah pada hasil yang lebih baik ketika berhadapan dengan overfitting. Sejauh pengetahuan saya, kerangka …

8 bayesian  model-selection  gaussian-process  hyperparameter 

Saya telah membaca bahwa validasi silang leave-one-out memberikan perkiraan yang relatif tidak bias tentang kinerja generalisasi yang sebenarnya (misalnya di sini ) dan bahwa ini adalah properti yang menguntungkan dari CV leave-one-out. Namun, saya tidak melihat bagaimana ini mengikuti dari properti CV cuti satu. Mengapa bias penaksir ini rendah jika …

8 cross-validation  model-selection  bias