Pelatihan jaringan saraf konvolusi

Saat ini saya sedang mengerjakan perangkat lunak pengenal wajah yang menggunakan jaringan saraf konvolusi untuk mengenali wajah. Berdasarkan bacaan saya, saya telah mengumpulkan bahwa jaringan saraf convolutional telah berbagi bobot, sehingga menghemat waktu selama pelatihan. Tapi, bagaimana cara mengadaptasi backpropagation sehingga dapat digunakan dalam jaringan saraf konvolusi. Dalam backpropagation, seseorang menggunakan formula yang mirip dengan ini untuk melatih bobot.

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

Namun, karena dalam jaringan saraf convolutional, bobot dibagi, masing-masing berat digunakan dengan beberapa neuron, jadi bagaimana saya memutuskan mana Output of InputNeuronyang digunakan?

Dengan kata lain, karena bobot dibagi, bagaimana saya memutuskan berapa banyak untuk mengubah bobot?

Pertama-tama Anda harus menghitung semua pembaruan seolah-olah wieghts tidak dibagikan, tetapi simpan saja, jangan lakukan pembaruan apa pun.

Biarkan menjadi bobot yang muncul di lokasi di jaringan Anda dan mana adalah tingkat pembelajaran dan adalah fungsi tujuan Anda. Perhatikan bahwa pada titik ini jika Anda tidak berbagi bobot, Anda hanya akan meningkatkan sebagai Untuk menangani bobot bersama, Anda perlu meringkas semua pembaruan individual. Jadi atur dan kemudian perbarui $w_k$$I_k = \{(i,j) \colon w_{i,j} = w_k\}$$\Delta w_{i,j} = -\eta \frac{\partial J}{\partial w_{i,j}}$$\eta$$J$$w_{i,j}$

$$w_{i,j} = w_{i,j} + \Delta w_{i,j}.$$ $$\Delta w_k = \sum_{(i,j) \in I_k} \Delta w_{i,j}$$ $$w_k = w_k + \Delta w_k.$$