Pertanyaan yang diberi tag «cross-validation»

Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode saya?

17 cross-validation  overfitting 

Saya telah menggunakan validasi k-fold cross berulang dan melaporkan rata-rata (dari metrik evaluasi misalnya, sensitivitas, spesifisitas) dihitung sebagai mean rata-rata di lipatan berbagai jalan validasi silang. Namun, saya tidak yakin bagaimana saya harus melaporkan varians. Saya telah menemukan banyak pertanyaan di sini membahas validasi silang berulang, namun, tidak ada yang …

17 cross-validation 

Saya telah membaca posting berikut untuk validasi silang bersarang dan masih belum 100% yakin apa yang harus saya lakukan dengan pemilihan model dengan validasi silang bersarang: Validasi silang bersarang untuk pemilihan model Pemilihan model dan validasi silang: Cara yang benar Untuk menjelaskan kebingungan saya, izinkan saya mencoba menjalani pemilihan model …

16 cross-validation  scikit-learn  hyperparameter 

The tanda sisipan paket perpustakaan R brilian untuk membangun beberapa model pembelajaran mesin, dan memiliki beberapa fungsi untuk model bangunan dan evaluasi. Untuk pengaturan parameter dan pelatihan model, paket caret menawarkan 'repeatcv' sebagai salah satu metode. Sebagai praktik yang baik, penyetelan parameter dapat dilakukan menggunakan validasi silang K-fold bersarang yang …

16 cross-validation  caret 

Saya menemukan artikel 2012 ini oleh Gitte Vanwinckelen dan Hendrik Blockeel yang mempertanyakan kegunaan berulang cross-validation, yang telah menjadi teknik populer untuk mengurangi varian cross-validation. Para penulis menunjukkan bahwa sementara validasi silang berulang mengurangi variasi prediksi model, karena dataset sampel yang sama sedang di-resampling, rata-rata estimasi validasi silang yang di-resvergen …

16 cross-validation 

Saya memiliki dataset 120 sampel dalam pengaturan validasi silang 10 kali lipat. Saat ini, saya memilih data pelatihan dari ketidaksepakatan pertama dan melakukan validasi silang 5 kali lipat untuk memilih nilai-nilai gamma dan C dengan pencarian kotak. Saya menggunakan SVM dengan kernel RBF. Karena saya sedang melakukan 10 10 validasi …

16 machine-learning  classification  cross-validation  svm 

Jika Anda memasukkan fungsi non linear ke satu set poin (dengan asumsi hanya ada satu ordinat untuk setiap absis) hasilnya dapat berupa: fungsi yang sangat kompleks dengan residu kecil fungsi yang sangat sederhana dengan residu besar Validasi silang umumnya digunakan untuk menemukan kompromi "terbaik" antara kedua ekstrem ini. Tapi apa …

16 model-selection  cross-validation 

Saya baru saja menonton ulang kuliah dari kursus Machine Learning on Coursera. Di bagian di mana profesor membahas PCA untuk pra-pemrosesan data dalam aplikasi pembelajaran yang diawasi, ia mengatakan PCA hanya boleh dilakukan pada data pelatihan dan kemudian pemetaan digunakan untuk mengubah validasi silang dan set tes. Lihat juga PCA …

16 r  pca  cross-validation  caret 

Apakah data normalisasi (memiliki nol rata-rata dan standar deviasi kesatuan) sebelum melakukan validasi silang k-fold berulang-ulang memiliki konsekuensi negatif seperti overfitting? Catatan: ini untuk situasi di mana #cases> total #features Saya mengubah beberapa data saya menggunakan transformasi log, kemudian menormalkan semua data seperti di atas. Saya kemudian melakukan pemilihan fitur. …

16 cross-validation  normalization 

Saya cukup baru di hutan acak. Di masa lalu, saya selalu membandingkan akurasi fit vs tes terhadap fit vs kereta untuk mendeteksi overfitting apapun. Tapi saya baru baca di sini bahwa: "Di hutan acak, tidak perlu untuk validasi silang atau set tes terpisah untuk mendapatkan estimasi yang tidak bias dari …

15 cross-validation  random-forest  overfitting 

Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan menyebabkan lebih banyak informasi hilang. Namun, satu dan hanya satu asumsi yang tidak …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

TLDR: Dataset saya cukup kecil (120) sampel. Saat melakukan validasi silang 10 kali lipat, haruskah saya: Kumpulkan output dari setiap lipatan tes, gabungkan menjadi vektor, dan kemudian hitung kesalahan pada vektor prediksi penuh ini (120 sampel)? Atau saya harus bukannya menghitung kesalahan pada output saya mendapatkan pada setiap kali lipat …

15 classification  cross-validation  small-sample 

Saya sangat baru dalam analisis data fungsional (FDA). Saya membaca: Ramsay, James O., dan Silverman, Bernard W. (2006), Analisis Data Fungsional, edisi ke-2, Springer, New York. Namun, saya masih belum begitu jelas di mana / kapan harus menggunakan FDA? Bisakah seseorang tolong beri saya contoh terutama dalam studi medis? Saya …

15 statistical-significance  cross-validation  nonparametric 

"Bootstrap validation" / "resampling cross-validation" adalah hal baru bagi saya, tetapi telah dibahas oleh jawaban untuk pertanyaan ini . Saya mengumpulkannya melibatkan 2 jenis data: data nyata dan data simulasi, di mana satu set data simulasi yang dihasilkan dihasilkan dari data nyata dengan resampling-dengan-penggantian sampai data simulasi memiliki ukuran yang …

15 cross-validation  bootstrap  validation  resampling 

Suppose I have constructed a prediction model for the occurrence of a particular disease in one dataset (the model building dataset) and now want to check how well the model works in a new dataset (the validation dataset). For a model built with logistic regression, I would calculate the predicted …

15 predictive-models  cross-validation  survival  roc