Pertanyaan yang diberi tag «cross-validation»

AIC dan BIC adalah kedua metode menilai model yang dikenakan sanksi untuk jumlah parameter yang diestimasi. Seperti yang saya pahami, BIC menghukum model lebih banyak untuk parameter gratis daripada AIC. Di luar preferensi berdasarkan ketatnya kriteria, apakah ada alasan lain untuk memilih AIC daripada BIC atau sebaliknya?

222 modeling  aic  cross-validation  bic  model-selection 

Saya bertanya-tanya bagaimana cara memilih model prediktif setelah melakukan validasi silang K-fold. Ini mungkin ungkapan yang aneh, jadi izinkan saya menjelaskan lebih detail: setiap kali saya menjalankan validasi silang K-fold, saya menggunakan subset K dari data pelatihan, dan berakhir dengan K model yang berbeda. Saya ingin tahu cara memilih salah …

149 cross-validation  model-selection 

Apakah selalu ide yang baik untuk berlatih dengan dataset lengkap setelah cross-validation ? Kata lain, itu ok untuk melatih dengan semua sampel dalam dataset saya dan tidak bisa memeriksa apakah ini pas tertentu overfits ? Beberapa latar belakang masalah: Katakanlah saya memiliki keluarga model parametrized oleh . Katakan juga bahwa …

140 machine-learning  cross-validation  model-selection 

Saya telah menggunakan KKK ganda lintas validasi beberapa kali sekarang untuk mengevaluasi kinerja beberapa algoritma belajar, tapi aku selalu bingung bagaimana aku harus memilih nilai .KKK Saya sering melihat dan menggunakan nilai K= 10K=10K = 10 , tetapi ini tampaknya benar-benar sewenang-wenang bagi saya, dan sekarang saya hanya menggunakan 101010 …

136 machine-learning  classification  cross-validation 

Saya ingin pemikiran Anda tentang perbedaan antara validasi silang dan bootstrap untuk memperkirakan kesalahan prediksi. Apakah seseorang bekerja lebih baik untuk ukuran dataset kecil atau dataset besar?

103 cross-validation  predictive-models  bootstrap 

Bagaimana cara menggunakan validasi silang bersarang untuk pemilihan model ? Dari apa yang saya baca online, CV bersarang berfungsi sebagai berikut: Ada loop CV dalam, di mana kami dapat melakukan pencarian grid (misalnya menjalankan K-fold untuk setiap model yang tersedia, misalnya kombinasi hyperparameter / fitur) Ada lingkaran CV luar, di …

91 cross-validation  model-selection 

Bagaimana metode validasi silang berbeda dibandingkan dalam hal varian model dan bias? Pertanyaan saya sebagian dimotivasi oleh utas ini: Jumlah lipatan yang optimal dalam validasi silang lipat: apakah CV cuti-keluar-selalu merupakan pilihan terbaik? KKKK. Jawaban di sana menunjukkan bahwa model yang dipelajari dengan validasi silang tinggalkan-keluar-satu memiliki varians yang lebih …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Bagaimana Anda menggambarkan validasi silang kepada seseorang tanpa latar belakang analisis data?

77 cross-validation 

Saya baru-baru ini banyak membaca di situs ini (@Aniko, @Dikran Marsupial, @Erik) dan di tempat lain tentang masalah overfitting yang terjadi dengan validasi silang - (Smialowski dkk 2010 Bioinformatika, Hastie, Elemen pembelajaran statistik). Sarannya adalah bahwa setiap pemilihan fitur yang diawasi (menggunakan korelasi dengan label kelas) dilakukan di luar estimasi …

76 cross-validation  feature-selection 

Saya agak bingung tentang pemilihan fitur dan pembelajaran mesin dan saya bertanya-tanya apakah Anda dapat membantu saya. Saya memiliki dataset microarray yang diklasifikasikan ke dalam dua kelompok dan memiliki ribuan fitur. Tujuan saya adalah mendapatkan sejumlah kecil gen (fitur saya) (10-20) dalam tanda tangan yang secara teori saya akan dapat …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Pertanyaan: Saya ingin memastikan sesuatu, apakah penggunaan k-fold cross-validation dengan deret waktu sangat mudah, atau apakah orang perlu memberi perhatian khusus sebelum menggunakannya? Latar Belakang: Saya memodelkan serangkaian waktu 6 tahun (dengan rantai semi-markov), dengan sampel data setiap 5 menit. Untuk membandingkan beberapa model, saya menggunakan validasi silang 6 kali …

70 time-series  modeling  cross-validation 

Apa strategi yang tepat untuk memisahkan dataset? Saya meminta umpan balik pada pendekatan berikut (tidak pada parameter individu seperti test_sizeatau n_iter, tetapi jika saya menggunakan X, y, X_train, y_train, X_test, dan y_testtepat dan jika urutan masuk akal): (memperluas contoh ini dari dokumentasi scikit-learn) 1. Muat dataset from sklearn.datasets import load_digits …

70 machine-learning  cross-validation  python  scikit-learn 

Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan parameter xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Misalkan kita memiliki seseorang yang membangun model prediktif, tetapi seseorang belum tentu berpengalaman dalam prinsip-prinsip statistik atau pembelajaran mesin yang tepat. Mungkin kita membantu orang itu saat mereka sedang belajar, atau mungkin orang itu menggunakan semacam paket perangkat lunak yang membutuhkan pengetahuan minimal untuk digunakan. Sekarang orang ini mungkin sangat …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Saya menemukan dua pertanyaan di sini dan di sini tentang masalah ini tetapi belum ada jawaban atau penjelasan yang jelas. Saya menegakkan masalah yang sama di mana kesalahan validasi kurang dari kesalahan pelatihan di Jaringan Neural Konvolusi saya. Apa artinya?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation