Pertanyaan yang diberi tag «cross-validation»

Apa perbedaan antara validasi silang bertingkat dan validasi silang ? Wikipedia mengatakan: Dalam stratifikasi k-fold cross-validation , lipatan dipilih sehingga nilai respons rata-rata hampir sama di semua lipatan. Dalam kasus klasifikasi dikotomis, ini berarti bahwa setiap lipatan berisi proporsi yang hampir sama dari dua jenis label kelas. Tapi saya masih …

55 cross-validation  stratification 

Bagi saya, tampaknya validasi tahan tidak berguna. Yaitu, memisahkan dataset asli menjadi dua bagian (pelatihan dan pengujian) dan menggunakan skor pengujian sebagai ukuran generalisasi, agak tidak berguna. K-fold cross-validation tampaknya memberikan perkiraan yang lebih baik dari generalisasi (karena melatih dan menguji pada setiap titik). Jadi, mengapa kita menggunakan validasi hold-out …

54 machine-learning  cross-validation  validation 

Dalam pembelajaran statistik, secara implisit atau eksplisit, seseorang selalu mengasumsikan bahwa set pelatihan terdiri dari input input / respon yang diambil secara independen dari distribusi gabungan yang sama denganD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNN(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) p({\bf{X}}) dan hubungan yang kami coba tangkap …

54 machine-learning  cross-validation  non-independent  iid 

Pertimbangkan masalah regresi lama yang baik dengan prediktor dan ukuran sampel n . Kebijaksanaan yang biasa adalah bahwa penaksir OLS akan melampaui batas dan umumnya akan dikalahkan oleh penaksir regresi ridge: \ hat \ beta = (X ^ \ X atas + + lambda I) ^ {- 1} X ^ …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Apakah saya mengubah semua data atau lipatan saya (jika CV diterapkan) secara bersamaan? misalnya (allData - mean(allData)) / sd(allData) Apakah saya mengubah trainset dan testset secara terpisah? misalnya (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Atau apakah saya mengubah trainset dan menggunakan perhitungan pada testset? misalnya (trainData …

47 r  cross-validation  data-transformation  normalization  standardization 

Selain pertimbangan daya komputasi, adakah alasan untuk meyakini bahwa meningkatkan jumlah lipatan dalam validasi silang mengarah pada pemilihan model yang lebih baik / validasi (yaitu bahwa semakin tinggi jumlah lipatan semakin baik)? Mengambil argumen ke ekstrem, apakah validasi silang meninggalkan-satu-keluar harus mengarah ke model yang lebih baik daripada lipat lintas-validasi?KKK …

47 cross-validation  bias-variance-tradeoff 

Saya bertanya-tanya apakah ada yang tahu tentang ringkasan teknik validasi silang dengan diskusi tentang perbedaan antara mereka dan panduan tentang kapan harus menggunakan masing-masing. Wikipedia memiliki daftar teknik yang paling umum, tetapi saya ingin tahu apakah ada teknik lain, dan jika ada taksonomi untuk mereka. Sebagai contoh, saya hanya bertemu …

43 cross-validation 

Apakah ada studi empiris yang membenarkan penggunaan satu aturan kesalahan standar yang mendukung kekikiran? Jelas itu tergantung pada proses data-data, tetapi apa pun yang menganalisis kumpulan data besar akan menjadi bacaan yang sangat menarik. "Satu aturan kesalahan standar" diterapkan ketika memilih model melalui cross-validation (atau lebih umum melalui prosedur berbasis …

39 cross-validation  model-selection  regularization 

TL, DR: Tampaknya, bertentangan dengan saran yang sering diulang, validasi silang tinggalkan-satu-keluar (LOO-CV) - yaitu,lipat CV dengan(jumlah lipatan) sama dengan(angka pengamatan pelatihan) - menghasilkan perkiraan kesalahan generalisasi yang merupakanvariabel terkecil untuk setiap, bukan variabel terbanyak, dengan asumsikondisi stabilitas tertentubaik pada model / algoritma, dataset, atau keduanya (saya tidak yakin yang …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Dalam semua konteks, saya akrab dengan validasi silang. Ini hanya digunakan dengan tujuan meningkatkan akurasi prediksi. Bisakah logika validasi silang diperluas dalam memperkirakan hubungan yang tidak memihak antar variabel? Sementara makalah ini oleh Richard Berk menunjukkan penggunaan sampel tahan untuk pemilihan parameter dalam model regresi "final" (dan menunjukkan mengapa pemilihan …

37 cross-validation  causality 

Saya telah menggunakan paket caret dalam R untuk membangun model prediksi untuk klasifikasi dan regresi. Caret menyediakan antarmuka terpadu untuk menyetel model hiper-parameter dengan validasi silang atau strapping boot. Misalnya, jika Anda sedang membangun model 'tetangga terdekat' yang sederhana untuk klasifikasi, berapa banyak tetangga yang harus Anda gunakan? 2? 10? …

37 r  time-series  cross-validation 

Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model terbaik; model dipilih pada setiap set latihan luar (menggunakan loop CV …

36 cross-validation  model-selection  ridge-regression 

Saya mencoba mencari tahu metode validasi silang mana yang terbaik untuk situasi saya. Data berikut ini hanyalah contoh untuk bekerja melalui masalah (dalam R), tetapi Xdata saya yang sebenarnya ( xmat) berkorelasi satu sama lain dan berkorelasi dengan derajat yang berbeda dengan yvariabel ( ymat). Saya memberikan kode R, tetapi …

36 r  regression  cross-validation  linear-model 

Saya memiliki dataset yang memiliki beberapa set label biner. Untuk setiap set label, saya melatih classifier, mengevaluasinya dengan validasi silang. Saya ingin mengurangi dimensi menggunakan analisis komponen utama (PCA). Pertanyaanku adalah: Apakah mungkin untuk melakukan PCA satu kali untuk seluruh dataset dan kemudian menggunakan dataset baru dengan dimensi yang lebih …

35 machine-learning  classification  pca  cross-validation 

Ada banyak utas di CrossValidated pada topik pemilihan model dan validasi silang. Berikut ini beberapa di antaranya: Validasi silang internal vs eksternal dan pemilihan model @ DikranMarsupial ini jawaban atas untuk seleksi Fitur dan cross-validasi Namun, jawaban atas utas tersebut cukup umum dan sebagian besar menyoroti masalah dengan pendekatan khusus …

34 cross-validation  model-selection