ImageNet: berapa tingkat kesalahan top-1 dan top-5?

Dalam makalah klasifikasi ImageNet tingkat kesalahan top-1 dan top-5 adalah unit penting untuk mengukur keberhasilan beberapa solusi, tetapi apa tingkat kesalahan itu?

Dalam Klasifikasi ImageNet dengan Jaringan Neural Konvolusional Dalam oleh Krizhevsky et al. setiap solusi berdasarkan pada satu CNN (halaman 7) tidak memiliki tingkat kesalahan top-5 sedangkan yang dengan CNN 5 dan 7 (dan juga tingkat kesalahan untuk 7 CNN lebih baik daripada untuk 5 CNN).

Apakah ini berarti tingkat kesalahan top-1 adalah tingkat kesalahan tunggal terbaik untuk satu CNN tunggal?

Apakah tingkat kesalahan top-5 hanyalah tingkat kesalahan akumulasi dari lima CNN?

[...] di mana tingkat kesalahan top-5 adalah sebagian kecil dari gambar uji yang label yang benar tidak di antara lima label yang dianggap paling mungkin oleh mode.

Pertama, Anda membuat prediksi menggunakan CNN dan mendapatkan distribusi multinomial kelas yang diprediksi ( ).$\sum p_{class} = 1$

Sekarang, dalam kasus skor top-1 , Anda memeriksa apakah kelas atas (yang memiliki probabilitas tertinggi) sama dengan label target.

Dalam hal skor 5 besar , Anda memeriksa apakah label target adalah salah satu dari 5 prediksi teratas Anda (5 yang memiliki probabilitas tertinggi).

Dalam kedua kasus, skor teratas dihitung ketika label yang diprediksi cocok dengan label target, dibagi dengan jumlah titik data yang dievaluasi.

Akhirnya, ketika 5-CNN digunakan, Anda pertama-tama meratakan prediksi mereka dan mengikuti prosedur yang sama untuk menghitung skor top-1 dan top-5.

Klasifikasi Anda memberi Anda probabilitas untuk setiap kelas. Katakanlah kita hanya memiliki "kucing", "anjing", "rumah", "tikus" sebagai kelas (dalam urutan ini). Kemudian classifier memberikan beberapa like

0.1; 0.2; 0.0; 0.7

hasil dari. Kelas Top-1 adalah "mouse". Kelas-2 teratas adalah {mouse, dog}. Jika kelas yang benar adalah "anjing", itu akan dihitung sebagai "benar" untuk akurasi Top-2, tetapi sebagai salah untuk akurasi Top-1.

Oleh karena itu, dalam masalah klasifikasi dengan kemungkinan kelas, setiap classifier memiliki akurasi top- 100% . Akurasi "normal" adalah top-1.$k$$k$