Dengan validasi silang k-fold, apakah Anda rata-rata semua model

Saat melakukan validasi silang k-fold, saya memahami bahwa Anda memperoleh metrik akurasi dengan mengarahkan semua lipatan kecuali satu lipatan pada satu lipatan dan membuat prediksi, lalu ulangi proses ini kali. Anda kemudian dapat menjalankan metrik akurasi pada semua instance Anda (presisi, recall,% diklasifikasikan dengan benar), yang seharusnya sama seperti jika Anda menghitungnya setiap kali dan kemudian rata-rata hasilnya (koreksi saya jika saya salah).$k$

Hasil akhir yang Anda inginkan adalah model akhir.

Apakah Anda rata-rata model yang diperoleh untuk membuat set prediksi berakhir dengan model yang memiliki metrik akurasi yang diperoleh dengan metode di atas?$k$

$k$

Hasil percobaan validasi silang dapat memberi tahu Anda bahwa Support Vector Machines mengungguli Naif Bayes pada data Anda, atau bahwa parameter hiper classifier harus ditetapkan ke c untuk set data tertentu ini. Berbekal pengetahuan ini, Anda kemudian melatih pengklasifikasi "produksi" dengan SEMUA data yang tersedia dan menerapkannya pada masalah Anda.

Dalam banyak kasus, bahkan tidak jelas bagaimana Anda akan rata-rata beberapa model. Misalnya, berapa rata-rata tiga pohon keputusan atau pengklasifikasi tetangga terdekat?

Penting untuk diingat bahwa hasil validasi silang adalah perkiraan, bukan jaminan, dan perkiraan ini lebih valid jika klasifikasi produksi dilatih dengan kualitas (dan kuantitas) data yang sama. Ada cukup banyak pekerjaan untuk mengembangkan cara menggunakan estimasi ini untuk melakukan inferensi; yaitu, dengan cara yang secara statistik terdengar baik, bahwa metode A umumnya lebih unggul daripada metode B pada data ini.