Saya baru-baru ini membaca komentar Yan LeCuns pada konvolusi 1x1 :
Dalam Jaring Konvolusional, tidak ada yang namanya "lapisan yang sepenuhnya terhubung". Hanya ada lapisan konvolusi dengan kernel konvolusi 1x1 dan tabel koneksi penuh.
Ini fakta yang terlalu jarang dipahami sehingga ConvNets tidak perlu memiliki input ukuran tetap. Anda dapat melatih mereka pada input yang kebetulan menghasilkan vektor output tunggal (tanpa batas spasial), dan kemudian menerapkannya pada gambar yang lebih besar. Alih-alih vektor output tunggal, Anda kemudian mendapatkan peta spasial vektor output. Setiap vektor melihat jendela input di lokasi berbeda pada input. Dalam skenario itu, "lapisan sepenuhnya terhubung" benar-benar bertindak sebagai konvolusi 1x1.
Saya ingin melihat contoh sederhana untuk ini.
Contoh
Anggap Anda memiliki jaringan yang sepenuhnya terhubung. Ini hanya memiliki layer input dan layer output. Lapisan input memiliki 3 node, layer output memiliki 2 node. Jaringan ini memiliki parameter. Untuk membuatnya lebih konkret, katakanlah Anda memiliki fungsi aktivasi ReLU di lapisan output dan matriks bobot
Jadi jaringannya adalah dengan .
Bagaimana lapisan konvolusional harus terlihat sama? Apa yang dimaksud dengan LeCun dengan "tabel koneksi penuh"?
Saya kira untuk mendapatkan CNN yang setara harus memiliki jumlah parameter yang persis sama. MLP dari atas memiliki parameter.