Apa sebenarnya blok Pembelajaran Residual dalam konteks Deep Residual Networks in Deep Learning?

Saya membaca makalah Deep Residual Learning untuk Pengenalan Gambar dan saya mengalami kesulitan memahami dengan kepastian 100% apa yang diperlukan oleh blok residual secara komputasi. Membaca makalah mereka, mereka memiliki angka 2:

yang menggambarkan apa yang seharusnya menjadi Blok Residual. Apakah perhitungan blok residu sama dengan:

$$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$$

Atau itu sesuatu yang lain?

Dengan kata lain mungkin untuk mencoba mencocokkan notasi kertas, adalah:

$$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$$

Benarkah itu?

$\mathbf{y}$

$$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$$

$\sigma$

Ya itu benar, Anda dapat melihat model caffe mereka untuk melihat bagaimana itu diterapkan.