TLDR:
Dataset saya cukup kecil (120) sampel. Saat melakukan validasi silang 10 kali lipat, haruskah saya:
Kumpulkan output dari setiap lipatan tes, gabungkan menjadi vektor, dan kemudian hitung kesalahan pada vektor prediksi penuh ini (120 sampel)?
Atau saya harus bukannya menghitung kesalahan pada output saya mendapatkan pada setiap kali lipat (dengan 12 sampel per kali lipat), dan kemudian mendapatkan perkiraan kesalahan akhir saya sebagai rata-rata dari 10 perkiraan error kali lipat?
Adakah tulisan ilmiah yang membantah perbedaan antara teknik ini?
Latar Belakang: Potensi Hubungan dengan skor Makro / Mikro dalam klasifikasi multi-label:
Saya pikir pertanyaan ini mungkin terkait dengan perbedaan antara rata-rata mikro dan Makro yang sering digunakan dalam tugas klasifikasi multi-label (misalnya, 5 label).
Dalam pengaturan multi-label, skor rata-rata mikro dihitung dengan membuat tabel kontingensi gabungan dari true positive, false positive, true negative, false negative untuk semua 5 prediksi classifier pada 120 sampel. Tabel kontingensi ini kemudian digunakan untuk menghitung presisi mikro, penarikan kembali mikro dan pengukuran mikro. Jadi ketika kita memiliki 120 sampel dan lima pengklasifikasi, ukuran mikro dihitung berdasarkan 600 prediksi (120 sampel * 5 label).
Saat menggunakan varian Makro , satu menghitung langkah-langkah (presisi, penarikan, dll.) Secara independen pada setiap label dan akhirnya, langkah-langkah ini dirata-ratakan.
Ide di balik perbedaan antara mikro vs Makro perkiraan dapat diperpanjang untuk apa yang dapat dilakukan dalam pengaturan K-kali lipat dalam masalah klasifikasi biner. Untuk 10 kali lipat kita dapat rata - rata lebih dari 10 nilai ( ukuran Makro ) atau menggabungkan 10 percobaan dan menghitung ukuran mikro .
Latar Belakang - Contoh yang diperluas:
Contoh berikut menggambarkan pertanyaan. Katakanlah kita memiliki 12 sampel uji dan kami memiliki 10 lipatan:
- Lipat 1 : TP = 4, FP = 0, TN = 8 Presisi = 1.0
- Lipat 2 : TP = 4, FP = 0, TN = 8 Presisi = 1.0
- Lipat 3 : TP = 4, FP = 0, TN = 8 Presisi = 1.0
- Lipat 4 : TP = 0, FP = 12, Presisi = 0
- Lipat 5 .. Lipat 10 : Semua memiliki TP yang sama = 0, FP = 12 dan Presisi = 0
tempat saya menggunakan notasi berikut:
TP = # True Positive, FP = # False Positive, TN = # True Negatives
Hasilnya adalah:
- Presisi rata-rata di 10 lipatan = 3/10 = 0,3
- Presisi pada rangkaian prediksi 10 lipatan = TP / TP + FP = 12/12 + 84 = 0,125
Perhatikan bahwa nilai 0,3 dan 0,125 sangat berbeda !