Pertanyaan yang diberi tag «cross-validation»

Dalam makalahnya Linear Model Selection oleh Cross-Validation , Jun Shao menunjukkan bahwa untuk masalah pemilihan variabel dalam regresi linier multivariat, metode validasi silang tinggalkan-satu-keluar (LOOCV) adalah 'tidak konsisten asimptotik'. Dalam bahasa Inggris biasa, cenderung memilih model dengan variabel terlalu banyak. Dalam studi simulasi, Shao menunjukkan bahwa bahkan untuk sedikitnya 40 …

22 classification  model-selection  cross-validation 

Pemahaman saya adalah bahwa bahkan ketika mengikuti prosedur validasi silang dan pemilihan model yang tepat, overfitting akan terjadi jika seseorang mencari model dengan cukup keras , kecuali jika seseorang memaksakan pembatasan pada kompleksitas model, titik. Selain itu, sering kali orang mencoba mempelajari hukuman pada model kompleksitas dari data yang merusak …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Catatan: Kasing adalah n >> p Saya membaca Elemen Pembelajaran Statistik dan ada berbagai menyebutkan tentang cara "benar" untuk melakukan validasi silang (misalnya halaman 60, halaman 245). Secara khusus, pertanyaan saya adalah bagaimana mengevaluasi model akhir (tanpa set tes terpisah) menggunakan k-fold CV atau bootstrap ketika telah ada pencarian model? …

21 machine-learning  model-selection  data-mining  cross-validation 

Saya telah membaca tentang validasi k-fold, dan saya ingin memastikan saya mengerti cara kerjanya. Saya tahu bahwa untuk metode holdout, data dibagi menjadi tiga set, dan set tes hanya digunakan di bagian paling akhir untuk menilai kinerja model, sedangkan set validasi digunakan untuk menyetel hyperparameters, dll. Dalam metode k-fold, apakah …

21 cross-validation  validation  out-of-sample 

Saya menjalankan validasi silang 10 kali lipat pada algoritma klasifikasi biner yang berbeda, dengan dataset yang sama, dan menerima hasil rata-rata Mikro dan Makro. Harus disebutkan bahwa ini adalah masalah klasifikasi multi-label. Dalam kasus saya, negatif sejati dan positif sejati juga diberi bobot yang sama. Itu berarti memprediksi dengan benar …

21 machine-learning  cross-validation 

Saya tahu bahwa melakukan penyetelan hyperparameter di luar validasi silang dapat menyebabkan estimasi bias eksternal yang tinggi, karena dataset yang Anda gunakan untuk mengukur kinerja adalah sama dengan yang Anda gunakan untuk menyetel fitur. Yang saya pikirkan adalah seberapa buruk masalah ini . Saya bisa mengerti bagaimana itu akan sangat …

20 cross-validation  validation  hyperparameter 

Saya menguji berbagai pengklasifikasi pada kumpulan data di mana terdapat 5 kelas dan setiap instance dapat menjadi milik satu atau lebih dari kelas-kelas ini, jadi saya menggunakan pengklasifikasi multi-label scikit-learn, khususnya sklearn.multiclass.OneVsRestClassifier. Sekarang saya ingin melakukan validasi silang menggunakan sklearn.cross_validation.StratifiedKFold. Ini menghasilkan kesalahan berikut: Traceback (most recent call last): File …

20 cross-validation  python  multi-class  scikit-learn  multilabel 

Saya menggunakan libsvm dalam mode C-SVC dengan kernel polinomial derajat 2 dan saya diminta untuk melatih beberapa SVM. Setiap set pelatihan memiliki 10 fitur dan 5000 vektor. Selama pelatihan, saya mendapatkan peringatan ini untuk sebagian besar SVM yang saya latih: WARNING: reaching max number of iterations optimization finished, #iter = …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Diberi model hierarkis , saya ingin proses dua tahap agar sesuai dengan model. Pertama, perbaiki beberapa hiperparameter , dan kemudian lakukan inferensi Bayesian pada seluruh parameter \ phi . Untuk memperbaiki hyperparameters saya mempertimbangkan dua opsi.p ( x | ϕ , θ )p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi Gunakan Empirical Bayes (EB) dan maksimalkan kemungkinan …

20 cross-validation  references  empirical-bayes 

Dua pendekatan umum untuk memilih variabel berkorelasi adalah uji signifikansi dan validasi silang. Masalah apa yang masing-masing coba selesaikan dan kapan saya lebih suka yang satu daripada yang lain?

20 cross-validation  feature-selection 

Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya sedang menerapkan tes statistik di mana saya …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Saya telah mencurahkan banyak waktu untuk pengembangan metode dan perangkat lunak untuk memvalidasi model prediktif dalam domain statistik frequentist tradisional. Dalam menerapkan lebih banyak gagasan Bayes ke dalam praktik dan pengajaran, saya melihat beberapa perbedaan utama yang harus dianut. Pertama, pemodelan prediktif Bayesian meminta analis untuk berpikir keras tentang distribusi …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

Apakah caretpaket R memvalidasi silang baik untuk model alphamaupun lambdauntuk glmnetmodel? Menjalankan kode ini, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) …

20 r  machine-learning  cross-validation  caret  glmnet 

Saya bingung tentang bagaimana cara mempartisi data untuk validasi lintas k-fold pembelajaran ensemble. Dengan asumsi saya memiliki kerangka kerja ensemble untuk klasifikasi. Lapisan pertama saya berisi model klasifikasi, misalnya svm, pohon keputusan. Lapisan kedua saya berisi model pemungutan suara, yang menggabungkan prediksi dari lapisan pertama dan memberikan prediksi akhir. Jika …

20 classification  cross-validation  ensemble 

Saya ingin tahu apakah ada / beberapa keuntungan menggunakan pengambilan sampel bertingkat daripada pengambilan sampel acak, ketika membagi dataset asli ke dalam pelatihan dan set pengujian untuk klasifikasi. Juga, apakah pengambilan sampel bertingkat memperkenalkan bias lebih ke dalam pengklasifikasi daripada pengambilan sampel acak? Aplikasi, yang ingin saya gunakan pengambilan sampel …

20 classification  cross-validation  random-forest  train  stratification