Efek TIDAK mengubah bobot filter CNN selama backprop

Apa efek dari TIDAK mengubah bobot filter CNN selama backpropagation? Saya hanya mengubah bobot lapisan yang sepenuhnya terhubung saat pelatihan tentang dataset MNIST dan masih mencapai akurasi hampir 99 persen.

machine-learning cnn mnist

— Abhisek Dash
sumber

Menarik, apakah Anda mulai dengan bobot acak, atau menggunakan bobot dari beberapa jaringan sebelumnya? Juga apakah ukuran akurasi Anda dari set pelatihan, atau dari set tes bertahan?

— Neil Slater

@Neil Slater: Saya mulai dengan bobot gaussian acak. Ukuran akurasinya ada pada set tes.

— Abhisek Dash

@Neil Slater: Akurasi hampir tetap sama bahkan dengan inisialisasi filter yang berbeda. Saya menggunakan 2 lapisan lilitan dan kolam maks dan lapisan FC dengan 256 neuron tersembunyi

— Abhisek Dash

Dengan tidak mengubah bobot lapisan konvolusional dari CNN, Anda pada dasarnya memberi makan fitur acak classifier (lapisan yang terhubung penuh) (yaitu bukan fitur optimal untuk tugas klasifikasi yang ada).

MNIST adalah tugas klasifikasi gambar yang cukup mudah sehingga Anda dapat memberi cukup banyak input piksel ke classifier tanpa ekstraksi fitur dan masih akan mencetak skor di tahun 90-an yang tinggi. Selain itu, mungkin lapisan penyatuan membantu sedikit ...

Coba latih MLP (tanpa lapisan conv / pool) pada gambar input dan lihat bagaimana peringkatnya. Berikut adalah contoh di mana MLP (1 layer tersembunyi & 1 output) mencapai 98+% tanpa ekstraksi preprocessing / fitur.

— Djib2011
sumber