Pertanyaan yang diberi tag «cross-validation»

Saya menggunakan 2 jenis regresi logistik - satu adalah tipe sederhana, untuk klasifikasi biner, dan yang lainnya adalah regresi logistik ordinal. Untuk menghitung akurasi yang pertama, saya menggunakan validasi silang, di mana saya menghitung AUC untuk setiap lipatan dan kemudian menghitung rata-rata AUC. Bagaimana saya bisa melakukannya untuk regresi logistik …

9 logistic  cross-validation  roc  auc  ordered-logit 

Rekan saya dan saya sedang menyesuaikan serangkaian model efek campuran linier dan nonlinear dalam R. Kami diminta untuk melakukan validasi silang pada model yang dipasang sehingga orang dapat memverifikasi bahwa efek yang diamati relatif dapat digeneralisasikan. Ini biasanya tugas yang sepele, tetapi dalam kasus kami, kami harus membagi seluruh data …

9 mixed-model  cross-validation 

Paket libsvm yang luar biasa menyediakan antarmuka python dan file "easy.py" yang secara otomatis mencari parameter pembelajaran (biaya & gamma) yang memaksimalkan akurasi classifier. Dalam satu set parameter pembelajaran kandidat tertentu, keakuratan dioperasionalkan dengan validasi silang, tetapi saya merasa seperti ini merusak tujuan validasi silang. Yaitu, sejauh parameter pembelajaran itu …

9 cross-validation  svm 

Kami memiliki satu set sampel biologis yang cukup mahal untuk diperoleh. Kami menempatkan sampel ini melalui serangkaian tes untuk menghasilkan data yang digunakan untuk membangun model prediksi. Untuk tujuan ini kami telah membagi sampel ke set pelatihan (70%) dan pengujian (30%). Kami telah berhasil membuat model dan menerapkannya pada set …

9 classification  modeling  experiment-design  cross-validation  bootstrap 

Jadi, saya memiliki 16 percobaan di mana saya mencoba untuk mengotentikasi seseorang dari sifat biometrik menggunakan Hamming Distance. Ambang batas saya diatur ke 3.5. Data saya di bawah dan hanya percobaan 1 yang Benar-Benar Positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Seperti yang Anda ketahui, ada dua jenis populer validasi silang, K-fold dan subsampling acak (seperti yang dijelaskan dalam Wikipedia ). Namun demikian, saya tahu bahwa beberapa peneliti membuat dan menerbitkan makalah di mana sesuatu yang digambarkan sebagai CV K-fold memang merupakan subsampling acak, jadi dalam praktiknya Anda tidak pernah tahu …

9 machine-learning  cross-validation 

Saya memiliki model regresi sederhana ( y = param1 * x1 + param2 * x2 ). Ketika saya memasukkan model ke data saya, saya menemukan dua solusi yang baik: Solusi A, params = (2,7), yang terbaik pada set pelatihan dengan RMSE = 2.5 TAPI! Solusi B params = (24,20) menang …

9 regression  cross-validation  overfitting  sensitivity-analysis 

Saya melatih classifier biner SVM menggunakan Scikit belajar. Karena sifat masalah saya, saya perlu menghindari negatif palsu. Karena tidak ada yang gratis, saya oke mendapatkan tingkat positif palsu yang lebih tinggi untuk mengurangi jumlah negatif palsu. Bagaimana kita bisa melakukan itu (idealnya dengan Scikit belajar)? Dengan kata lain, bagaimana kita …

9 machine-learning  cross-validation  svm  python  scikit-learn 

Saya memiliki wawancara kerja untuk posisi ilmu data. Selama wawancara, saya ditanya apa yang harus saya lakukan untuk memastikan modelnya tidak overfitting. Jawaban pertama saya adalah menggunakan validasi silang untuk menilai kinerja model. Namun, pewawancara mengatakan bahwa bahkan validasi silang tidak dapat mengidentifikasi overfitting sepenuhnya. Lalu saya menyebutkan regularisasi, tetapi …

9 cross-validation  regularization  overfitting 

Saya telah memberi label data yang terdiri dari 10.000 contoh positif, dan 50.000 contoh negatif, sehingga totalnya 60000 contoh. Jelas data ini tidak seimbang. Sekarang katakanlah saya ingin membuat set validasi saya, dan saya ingin menggunakan 10% dari data saya untuk melakukannya. Pertanyaan saya adalah sebagai berikut: Haruskah saya memastikan …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

Dalam studi psikologi saya belajar bahwa kita harus menggunakan metode Bonferroni untuk menyesuaikan tingkat signifikansi ketika menguji beberapa hipotesis pada satu dataset. Saat ini saya sedang bekerja dengan metode pembelajaran mesin seperti Support Vector Machines atau Random Forest untuk klasifikasi. Di sini saya memiliki satu set data yang digunakan dalam …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

AIC sering direkomendasikan sebagai kriteria untuk membandingkan model untuk peramalan seri waktu. Lihat misalnya ini dalam konteks model regresi dinamis : AIC dapat dihitung untuk model akhir, dan nilai ini dapat digunakan untuk menentukan prediktor terbaik. Artinya, prosedur harus diulangi untuk mempertimbangkan semua himpunan bagian prediktor, dan model dengan nilai …

9 time-series  cross-validation  model-selection  arima  aic 

Misalkan dalam analisis regresi dalam R, saya memiliki jenis variabel variabel independen dengan 3 level dalam dataset kereta saya. Tetapi dalam data uji mengatur bahwa variabel faktor yang sama memiliki 5 level. Oleh karena itu saya tidak dapat memprediksi nilai respons untuk dataset uji. Apa yang harus dilakukan dalam kasus …

9 r  regression  categorical-data  cross-validation  rare-events 

Dalam halaman Wikipedia ini di sub-bagian untuk validasi silang K-fold dikatakan "Dalam validasi silang k-fold, sampel asli dipartisi secara acak menjadi k sebagai subsampel dengan ukuran yang sama. Dari sampel k, subsampel tunggal dipertahankan sebagai data validasi untuk menguji model, dan sisa sampel k - 1 digunakan sebagai data pelatihan …

9 cross-validation 

Buku teks saya tentang validasi silang adalah Elemen Pembelajaran Statistik oleh Hastie et al. (2nd ed.). Di bagian 7.10.1 dan 7.12, mereka berbicara tentang perbedaan antara kesalahan pengujian bersyarat dan tes yang diharapkan kesalahan Di sini adalah kumpulan data pelatihan, adalah fungsi kerugian, adalah model yang dilatih pada . adalah …

9 cross-validation  definition