Pertanyaan yang diberi tag «cross-validation»

Saya sedang mengerjakan kumpulan data. Setelah menggunakan beberapa teknik identifikasi model, saya keluar dengan model ARIMA (0,2,1). Saya menggunakan detectIOfungsi dalam paket TSAdalam R untuk mendeteksi outlier inovatif (IO) pada pengamatan ke-48 set data asli saya. Bagaimana cara memasukkan pencilan ini ke dalam model saya sehingga saya dapat menggunakannya untuk …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Saat membagi data berlabel saya ke dalam set pelatihan, validasi dan tes, saya telah mendengar semuanya dari 50/25/25 hingga 85/5/10. Saya yakin ini tergantung pada bagaimana Anda akan menggunakan model Anda dan seberapa rentan overfitting algoritma pembelajaran Anda. Apakah ada cara untuk memutuskan atau semuanya dengan aturan praktis? Bahkan ELSII …

10 machine-learning  cross-validation 

Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau summary(model). Dua yang terakhir ini memberikan jawaban yang sama. Menggunakan banyak data yang …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Dengan beberapa lipatan validasi silang dari regresi logistik, dan beberapa estimasi yang dihasilkan dari masing-masing koefisien regresi, bagaimana seharusnya seseorang mengukur apakah prediktor (atau serangkaian prediktor) stabil / bermakna berdasarkan koefisien regresi? ? Apakah ini berbeda untuk regresi linier?

10 regression  model-selection  cross-validation 

Saya memiliki satu set data dengan sekitar 70 variabel yang ingin saya kurangi. Yang ingin saya lakukan adalah menggunakan CV untuk menemukan variabel yang paling berguna dengan cara berikut. 1) Pilih secara acak katakan 20 variabel. 2) Gunakan stepwise/ LASSO/ lars/ etc untuk memilih variabel yang paling penting. 3) Ulangi …

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

Adakah yang tahu buku / halaman web yang bagus untuk mulai mempelajari teknik validasi silang?

10 references  cross-validation 

Fungsi R cv.glm (library: boot) menghitung perkiraan kesalahan prediksi validasi silang K-fold untuk model linier umum dan mengembalikan delta. Apakah masuk akal untuk menggunakan fungsi ini untuk regresi laso (library: glmnet) dan jika demikian, bagaimana hal itu dapat dilakukan? Pustaka glmnet menggunakan cross-validation untuk mendapatkan parameter belokan terbaik, tapi saya …

10 r  regression  cross-validation  lasso  glmnet 

Saya sering melihat orang-orang membicarakan validasi silang 5x2 sebagai kasus khusus validasi silang bersarang . Saya berasumsi angka pertama (di sini: 5) mengacu pada jumlah lipatan di loop dalam dan nomor kedua (di sini: 2) mengacu pada jumlah lipatan di loop luar? Jadi, bagaimana hal ini berbeda dari pemilihan model …

10 machine-learning  cross-validation  hyperparameter 

Saya mencoba mencari tahu apakah pemahaman saya tentang validasi silang bersarang benar, oleh karena itu saya menulis contoh mainan ini untuk melihat apakah saya benar: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 …

10 cross-validation  python  scikit-learn 

Saya mencoba menyesuaikan model waktu-diskrit dalam R, tapi saya tidak yakin bagaimana melakukannya. Saya telah membaca bahwa Anda dapat mengatur variabel dependen dalam baris yang berbeda, satu untuk setiap pengamatan waktu, dan menggunakan glmfungsi dengan logit atau tautan cloglog. Dalam hal ini, saya memiliki tiga kolom: ID, Event(1 atau 0, …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Pertanyaan saya berkaitan dengan GAM dalam paket mgcv R. Karena ukuran sampel yang kecil saya ingin menentukan kesalahan prediksi menggunakan validasi silang leave-one-out. Apakah ini masuk akal? Apakah ada paket atau kode bagaimana saya bisa melakukan ini? The errorest()fungsi dalam ipred paket tidak bekerja. Dataset tes sederhana adalah: library(mgcv) set.seed(0) …

10 r  cross-validation  gam  mgcv 

Apakah estimasi standar deviasi dihitung melalui: sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. ( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation ) untuk akurasi prediksi yang diambil dari validasi silang 10 kali lipat? Saya khawatir bahwa akurasi prediksi yang dihitung antara setiap lipatan tergantung karena tumpang tindih yang substansial antara set pelatihan (meskipun set prediksi …

10 confidence-interval  cross-validation  prediction  prediction-interval 

Sebagian besar situasi, kami hanya berurusan dengan satu variabel hasil / respons seperti . Namun, dalam beberapa skenario, terutama dalam data klinis, variabel hasil dapat berupa dimensi tinggi / multivariat. Seperti Y = β x + ϵ , di mana Y berisi variabel Y 1 , Y 2 dan Y …

10 r  cross-validation 

Ketika melakukan validasi silang 5 kali lipat (misalnya), biasanya menghitung kurva ROC terpisah untuk masing-masing dari 5 lipatan dan sering kali kurva ROC rata-rata dengan std. dev. ditampilkan sebagai ketebalan kurva. Namun, untuk LOO cross-validation, di mana hanya ada satu titik data pengujian di setiap lipatan, tampaknya tidak masuk akal …

10 cross-validation  roc 

Saya memiliki pengalaman sebelumnya dengan validasi silang K-fold 'normal' untuk tuning model dan saya sedikit bingung dengan aplikasi dalam model time-series. Ini adalah pemahaman saya bahwa untuk model deret waktu konsekuensi wajar untuk cross-validasi adalah prosedur 'asal-usul ke depan' yang dijelaskan oleh Hyndman . Ini masuk akal bagi saya dan …

10 time-series  forecasting  cross-validation