Mengapa max pooling diperlukan dalam jaringan saraf convolutional?

18

Sebagian besar jaringan saraf convolutional umum mengandung lapisan penyatuan untuk mengurangi dimensi fitur keluaran. Mengapa saya tidak dapat mencapai hal yang sama hanya dengan meningkatkan langkah lapisan konvolusional? Apa yang membuat lapisan pengumpulan diperlukan?

deep-learning conv-neural-network pooling

— pengguna3667089
sumber

16

Anda memang bisa melakukan itu, lihat Berjuang untuk Kesederhanaan: The All Convolutional Net . Pooling memberi Anda sejumlah invarian terjemahan, yang mungkin atau mungkin tidak membantu. Juga, penyatuan lebih cepat untuk dihitung daripada konvolusi. Namun, Anda selalu dapat mencoba mengganti penyatuan dengan konvolusi dengan langkah dan melihat apa yang lebih baik.

Beberapa karya saat ini menggunakan penyatuan rata-rata ( Wide Residual Networks , DenseNets ), yang lain menggunakan konvolusi dengan langkah ( DelugeNets )

— Robintibor
sumber

Saya bertanya kepada salah satu teman saya tentang hal ini dan dia mengatakan lapisan penyatuan lebih baik karena memperkenalkan non-linearitas. Apa kamu setuju?

— user3667089

7

Hm tidak begitu yakin saya setuju. Beberapa jenis nonlinier sudah ada dalam jaringan melalui fungsi aktivasi. Pooling rata-rata juga tidak memperkenalkan nonlinier tambahan, ini adalah operasi linier jadi hanya max pooling yang nonlinier. Dan saya pikir pertanyaannya lebih jika Anda ingin regularisasi yang dikumpulkan membawa Anda - invariansi yang lebih translasional.

— robintibor

4

Rupanya max pooling membantu karena mengekstrak fitur paling tajam dari suatu gambar. Jadi mengingat sebuah gambar, fitur paling tajam adalah representasi tingkat rendah terbaik dari suatu gambar. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

Tetapi menurut kuliah Deep Learning Andrew Ng, max pooling bekerja dengan baik tetapi tidak ada yang tahu mengapa. Kutipan -> "Tapi saya harus mengakui, saya pikir alasan utama orang menggunakan max pooling adalah karena telah ditemukan dalam banyak percobaan untuk bekerja dengan baik, ... Saya tidak tahu ada orang yang sepenuhnya tahu apakah itu yang asli alasan yang mendasarinya. "

— Yi Xiang Chong
sumber