Apa batasan maxnorm? Bagaimana ini berguna dalam Neural Networks Konvolusional?

Berikut ini adalah contoh kode keras yang menggunakannya:

from keras.constraints import max_norm

model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), 
                        border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

Dari http://cs231n.github.io/neural-networks-2/#reg :

Batasan norma maks. Bentuk lain dari regularisasi adalah untuk menegakkan batas atas absolut pada besarnya vektor berat untuk setiap neuron dan menggunakan proyeksi gradien keturunan untuk menegakkan batasan. Dalam praktiknya, ini berhubungan dengan melakukan pembaruan parameter seperti biasa, dan kemudian menegakkan batasan dengan menjepit vektor bobot dari setiap neuron untuk memenuhiNilai khas dari ada di pesanan 3 atau 4. Beberapa orang melaporkan peningkatan saat menggunakan bentuk regularisasi ini. Salah satu properti yang menarik adalah bahwa jaringan tidak dapat "meledak" bahkan ketika tingkat pembelajaran ditetapkan terlalu tinggi karena pembaruan selalu dibatasi. ‖ → w ‖2<c$\vec{w}$$\Vert \vec{w} \Vert_2 < c.$$c$

Saya menemukan jawaban oleh McLawrence dalam pertanyaan lain yang sangat membantu. Diproduksi ulang di bawah ini:

Apa yang dilakukan batasan berat max_norm?

maxnorm(m)akan, jika L2-Norm bobot Anda melebihi m, skala seluruh matriks berat Anda dengan faktor yang mengurangi norma m. Seperti yang dapat Anda temukan dalam kode keras di class MaxNorm(Constraint):

def __call__(self, w):
    norms = K.sqrt(K.sum(K.square(w), axis=self.axis, keepdims=True))
    desired = K.clip(norms, 0, self.max_value)
    w *= (desired / (K.epsilon() + norms))
    return w

Adatively, maxnormmemiliki axisargumen, di mana norma dihitung. Dalam contoh Anda, Anda tidak menentukan sumbu, sehingga norma dihitung atas seluruh matriks bobot. Jika misalnya, Anda ingin membatasi norma setiap filter konvolusional, dengan asumsi bahwa Anda menggunakan tfpemesanan dimensi, matriks bobot akan memiliki bentuk (rows, cols, input_depth, output_depth). Menghitung norma lebih axis = [0, 1, 2]akan membatasi setiap filter dengan norma yang diberikan.

Kenapa melakukannya?

Membatasi matriks bobot secara langsung adalah jenis regularisasi lainnya. Jika Anda menggunakan istilah regularisasi L2 sederhana, Anda akan menghukum bobot tinggi dengan fungsi kerugian Anda. Dengan batasan ini, Anda mengatur secara langsung. Seperti juga ditautkan dalam keraskode, ini tampaknya bekerja sangat baik dalam kombinasi dengan dropoutlayer. Info lebih lanjut lihat bab 5.1 dalam makalah ini