Apa arti konvolusi 1x1 dalam jaringan saraf?

Saat ini saya sedang melakukan Tutorial Belajar Udacity Deep. Dalam Pelajaran 3, mereka berbicara tentang lilitan 1x1. Konvolusi 1x1 ini digunakan dalam Modul Google Inception. Saya mengalami kesulitan memahami apa yang dimaksud dengan konvolusi 1x1.

Saya juga melihat posting ini oleh Yann Lecun.

Bisakah seseorang dengan ramah menjelaskan ini kepada saya?

$(N, F, H, W)$

• $N$
• $F$
• $H, W$

$F_1$$(N, F_1, H , W)$

$F_1 > F$$F_1 < F$

Memang, dalam artikel Google Inception Going Deeper with Convolutions , mereka menyatakan (berani adalah milik saya, bukan oleh penulis asli):

Satu masalah besar dengan modul-modul di atas, setidaknya dalam bentuk naif ini, adalah bahwa bahkan jumlah 5x5 konvolusi yang sederhana dapat menjadi sangat mahal di atas lapisan konvolusional dengan sejumlah besar filter.

Ini mengarah pada gagasan kedua dari arsitektur yang diusulkan: menerapkan pengurangan dimensi dan proyeksi secara bijaksana di mana pun persyaratan komputasi akan meningkat terlalu banyak. Ini didasarkan pada keberhasilan embeddings: embeddings berdimensi rendah sekalipun mungkin mengandung banyak informasi tentang patch gambar yang relatif besar ... Konvolusi 1x1 digunakan untuk menghitung pengurangan sebelum konvolusi 3x3 dan 5x5 yang mahal. Selain digunakan sebagai reduksi, mereka juga termasuk penggunaan aktivasi linier terkoreksi yang membuatnya berfungsi ganda.

Jadi dalam arsitektur Inception, kami menggunakan filter konvolusional 1x1 untuk mengurangi dimensi dalam dimensi filter. Seperti yang saya jelaskan di atas, layer konv 1x1 ini dapat digunakan secara umum untuk mengubah dimensi ruang filter (baik menambah atau mengurangi) dan dalam arsitektur Inception kita melihat seberapa efektif filter 1x1 ini untuk pengurangan dimensi, secara eksplisit dalam ruang dimensi filter , bukan ruang dimensi spasial.

Mungkin ada interpretasi lain dari filter konv 1x1, tapi saya lebih suka penjelasan ini, terutama dalam konteks arsitektur Google Inception.

Konvolusi 1x1 hanya memetakan piksel input dengan semua salurannya ke piksel output, tidak melihat apa pun di sekitarnya. Ini sering digunakan untuk mengurangi jumlah saluran kedalaman, karena seringkali sangat lambat untuk memperbanyak volume dengan kedalaman yang sangat besar.

input (256 depth) -> 1x1 convolution (64 depth) -> 4x4 convolution (256 depth)

input (256 depth) -> 4x4 convolution (256 depth)

Yang bawah sekitar ~ 3,7x lebih lambat.

Secara teoritis jaringan saraf dapat 'memilih' yang memasukkan 'warna' untuk dilihat menggunakan ini, bukan kekuatan kasar mengalikan semuanya.

$any$

https://datascience.stackexchange.com/questions/9175/how-do-s berikutnya-convolution-layers-work

Secara khusus, Tipe 2.2 adalah deskripsi yang benar dari konvolusi di sana.

Jawaban bermanfaat lainnya:

https://ai.stackexchange.com/questions/5769/in-a-cnn-does-each-new-filter-have-different-weights-for-each-input-channel-or

Jawaban ini menjelaskan bagaimana Anda memiliki filter terpisah untuk setiap kombinasi saluran masuk / keluar . Setelah menghitung masing-masing, hasilnya dijumlahkan di atas sumbu saluran input yang menyisakan jumlah nilai saluran keluaran .

Ini adalah video yang saya temukan yang membantu saya memahami cara kerja konvolusi 1x1.

https://www.coursera.org/lecture/convolutional-neural-networks/networks-in-networks-and-1x1-convolutions-ZTb8x

Berikut adalah hal-hal utama yang saya dapatkan dari itu:

• $m$$n$$f_1$$(m, n, f_1)$$f_1$$m$$n$$f_2$$(m, n, f_2)$
• $f_2 < f_1$$f_1$$f_2$

Saya akan mencoba menjelaskan dengan lebih intuitif dan singkat dengan ilustrasi!

Konv 1 * 1 (alias jaringan dalam jaringan )?

katakanlah input Anda adalah (n_H, n_W, n_c_prev). Anda dapat menganggap (1 * 1 * n_c_prev) sebagai neuron tunggal (jaringan yang sepenuhnya terhubung -yaitu mengapa N / w dalam N / w ) yang menerima (n_c_prev) angka dalam input yang mengalikannya dengan (1 * 1 * n_c_prev ) dan kemudian menambahkan dan kemudian mengambil ReLu & output (n_H, n_W) dan jika Anda memiliki beberapa filter (n_c) maka outputnya adalah (n_H, n_W, n_C).

Jadi, Anda dapat menggunakan lapisan penyatuan untuk mengurangi dimensi spasial (n_H, n_W) dan dapat menggunakan 1 * 1 conv untuk mengurangi n_c_prev (yaitu jumlah saluran) yang menyimpan banyak perhitungan. Sebagai contoh

Karena itu, bawa pulang

• Anda dapat menggunakan layer konvolusional 1x1 untuk mengurangi n_C tetapi tidak n_H, n_W.

• Anda bisa menggunakan lapisan penyatuan untuk mengurangi n_H, n_W, dan n_C.

Dengan kata lain,

• apa yang Anda lakukan dengan menggunakan filter CONV 1 * 1? Anda pada dasarnya mengambil "1 * 1 * num_input_channel_of_featureMap" ukuran bobot & berbelit-belit (elemen * diikuti oleh +) volume ini di atas gambar / featureMap ukuran "W H num_input_channel_of_featureMap" dan apa yang Anda dapatkan adalah output dari ukuran "W * H".

• Sekarang, Anda dapat menggunakan nomor "#filters" dari jenis "1 * 1 * num_input_channel_of_featureMap" dan dapatkan volume "W H #filter" sebagai hasil akhir!

• Lebih tepatnya, Anda mengalikan "1 * 1" dengan 32 bobot berbeda (Volume 1 * 1) dengan satu irisan pada posisi yang sama di peta fitur input diikuti oleh ReLu & dapatkan satu angka yang sesuai yang dihasilkan, dilihat sebagai piksel warna hijau !

• 1 * 1 CONV membantu mengecilkan jumlah saluran & menghemat perhitungan di beberapa jaringan (INCEPTIONS).!

• Tetapi, tentu saja, jika Anda ingin menjaga jumlah saluran tetap sama dengan peta fitur input, itu juga baik-baik saja, satu hal yang dilakukan oleh CONV 1 * 1 adalah menerapkan ReLU Non-linearitas secara sederhana yang memungkinkannya mempelajari fungsi-fungsi kompleks di NN .

Satu lagi gagasan tentang pengurangan dimensi dalam konteks filter 1x1:

Ambil contoh, fc7 4096x8x8 layer dari FCN. Apa yang terjadi jika lapisan berikutnya (sebut saja fc8) adalah 2048x8x8 dengan ukuran filter 1? fc7 sangat jauh di dalam jaringan, masing-masing fitur 4096 kaya secara semantik, tetapi masing-masing neuron (misalnya gambar input 250x250x3) memiliki bidang reseptif yang besar. Dengan kata lain, jika neuron sangat aktif, kita tahu bahwa di suatu tempat di bidang semantiknya ada fitur yang sesuai.

Ambil contoh neuron paling kiri di fc8 dengan filter 1x1. Ini terhubung ke semua 4.096 neuron / fitur hanya di bidang reseptif yang sama (sudut kiri atas gambar), yang masing-masing diaktifkan oleh fitur tunggal. Beberapa (mari kita sama 500) dari mereka sangat aktif. Jika neuron yang dihasilkan juga sangat aktif, itu berarti ia mungkin belajar mengidentifikasi 1 atau lebih fitur dalam bidang reseptif ini. Setelah Anda melakukan ini 2048 kali untuk neuron paling kiri di fc8, beberapa dari mereka (misalnya 250) akan sangat aktif, yang berarti mereka 'mengumpulkan' fitur dari bidang reseptif yang sama melalui fc7, dan banyak kemungkinan besar lebih dari satu.

Jika Anda terus mengurangi dimensionalitas, jumlah neuron yang berkurang akan mempelajari fitur yang semakin meningkat dari bidang reseptif yang sama. Dan karena parameter spasial 8x8 tetap sama, kami tidak mengubah 'pandangan' masing-masing neuron, sehingga tidak mengurangi kekasaran spasial.

Anda mungkin ingin melihat 'Jaringan Sepenuhnya Konvolusional' oleh Long, Shelhamer dan Darrel.

Operasi matematika konvolusi berarti menghitung produk dari dua fungsi (kontinu atau diskrit) atas semua posisi shift yang mungkin.

$v \times v$

Aplikasi pemrosesan gambar dari jaringan saraf - termasuk jaringan saraf konvolusional - telah ditinjau dalam: [M. Egmont-Petersen, D. de Ridder, H. Handels. Pemrosesan gambar dengan jaringan saraf - review , Pattern Recognition , Vol. 35, No. 10, hlm. 2279-2301, 2002].