Geometri dan AI
Matriks, kubus, lapisan, tumpukan, dan hierarki adalah apa yang secara akurat dapat kita sebut topologi . Pertimbangkan topologi dalam konteks ini desain geometris tingkat yang lebih tinggi dari sistem pembelajaran.
Seiring meningkatnya kompleksitas, sering berguna untuk merepresentasikan topologi ini sebagai struktur grafik yang diarahkan. State diagram dan karya Markov tentang teori permainan adalah dua tempat di mana grafik berarah umum digunakan. Grafik yang diarahkan memiliki simpul (sering divisualisasikan sebagai bentuk tertutup) dan ujungnya sering divisualisasikan sebagai panah yang menghubungkan bentuk.
Kita juga dapat mewakili GAN sebagai grafik terarah, di mana output dari masing-masing jaringan mendorong pelatihan yang lain dengan cara yang berlawanan. GAN menyerupai strip Möbius secara topologi.
Kami tidak dapat menemukan desain dan arsitektur baru tanpa memahami tidak hanya matematika tentang konvergensi pada solusi optimal atau pelacakan tetapi juga topologi koneksi jaringan yang dapat mendukung konvergensi tersebut. Ini seperti pertama mengembangkan prosesor sambil membayangkan apa yang dibutuhkan sistem operasi sebelum menulis sistem operasi.
Untuk melihat topologi apa yang belum kita pertimbangkan, mari kita lihat yang mana.
Langkah Satu - Ekstrusi dalam Dimensi Kedua
Pada 1980-an, kesuksesan dicapai dengan perluasan desain perceptron asli. Peneliti menambahkan dimensi kedua untuk membuat jaringan saraf multi-layered. Konvergensi yang wajar dicapai melalui propagasi balik dari gradien fungsi kesalahan melalui gradien fungsi aktivasi yang dilemahkan oleh tingkat pembelajaran dan dibasahi dengan meta-parameter lainnya.
Langkah Dua - Menambahkan Dimensi ke Sinyal Input Diskrit
Kita melihat kemunculan jaringan konvolusional berdasarkan teknik konvolusi gambar yang disetel secara manual yang sudah ada, memperkenalkan dimensi pada input jaringan: Posisi vertikal, komponen warna, dan bingkai. Dimensi terakhir ini sangat penting untuk CGI, penggantian wajah, dan teknik morfologis lainnya dalam pembuatan film kontemporer. Tanpa itu, kami memiliki generasi gambar, kategorisasi, dan penghapusan noise.
Langkah Tiga - Tumpukan Jaringan
Kita melihat tumpukan jaring saraf muncul di akhir 1990-an, di mana pelatihan satu jaringan diawasi oleh yang lain. Ini adalah pengenalan lapisan konseptual, baik dalam arti lapisan berurutan neuron maupun dalam arti lapisan warna dalam gambar. Layering jenis ini juga bukan rekursi. Ini lebih seperti dunia alami di mana satu struktur adalah organ di dalam jenis struktur yang sama sekali berbeda.
Langkah Empat - Hierarki Jaringan
Kami melihat hierarki jaring saraf sering muncul dalam penelitian yang muncul pada tahun 2000-an dan awal 2010-an (Laplacian dan lainnya), yang melanjutkan interaksi antara jaring saraf dan melanjutkan analogi otak mamalia. Kita sekarang melihat struktur-meta, di mana seluruh jaringan menjadi simpul dalam grafik berarah yang mewakili topologi.
Langkah Lima% mdash; Keberangkatan dari Orientasi Cartesian
Non-Cartesian secara sistematis mengulangi pengaturan sel dan koneksi di antara mereka telah mulai muncul dalam literatur. Misalnya, Gauge Konvolusional Equivariant Networks dan Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) meneliti penggunaan pengaturan berdasarkan icosahedron biasa cembung.
Meringkas
Layers memiliki nilai fungsi aktivasi untuk verteks dan matriks atenuasi yang dipetakan ke set lengkap tepi terarah antara lapisan yang berdekatan [1]. Lapisan konvolusi gambar seringkali dalam susunan verteks dua dimensi dengan kubus atenuasi yang dipetakan ke himpunan tepi terarah antara lapisan yang berdekatan [2]. Tumpukan memiliki seluruh jaring berlapis sebagai simpul dalam meta-diarahkan-grafik, dan meta-simpul tersebut terhubung secara berurutan dengan masing-masing sisi baik sebagai meta-parameter pelatihan, sinyal penguatan (umpan balik waktu nyata), atau kontrol pembelajaran lainnya . Hierarki jaring mencerminkan gagasan bahwa banyak kontrol dapat digabungkan dan mengarahkan pembelajaran tingkat rendah, atau flip case di mana beberapa elemen pembelajaran dapat dikontrol oleh satu jaringan pengawas tingkat yang lebih tinggi.
Analisis Tren Topologi Pembelajaran
Kita dapat menganalisis tren dalam arsitektur pembelajaran mesin. Kami memiliki tiga tren topologi.
Kedalaman dalam dimensi kausalitas - Layers ke pemrosesan sinyal di mana output dari satu lapisan aktivasi diumpankan melalui matriks parameter pelemahan (bobot) ke input dari lapisan berikutnya. Ketika kontrol yang lebih besar dibuat, hanya dimulai dengan penurunan gradien dasar di propatagion belakang, kedalaman yang lebih besar dapat dicapai.
Dimensi sinyal input - Dari input skalar ke hypercubes (video memiliki kedalaman horizontal, vertikal, kedalaman warna termasuk transparansi, dan bingkai - Perhatikan bahwa ini tidak sama dengan jumlah input dalam arti perceptron.
Perkembangan topologis - Dua di atas bersifat Kartesius. Dimensi ditambahkan pada sudut kanan ke dimensi yang ada. Karena jaringan ditransfer dalam hierarki (seperti dalam Hierarki Laplacian) dan Möbius strip seperti lingkaran (seperti dalam GAN), tren topografis dan paling baik diwakili oleh grafik yang diarahkan di mana simpul bukan neuron tetapi jaringan yang lebih kecil dari mereka.
Topologi apa yang Hilang?
Bagian ini memperluas arti dari pertanyaan judul.
- Adakah alasan mengapa banyak meta-simpul, masing-masing mewakili jaringan syaraf, dapat diatur sedemikian rupa sehingga beberapa meta-simpul pengawas dapat, bersama-sama, mengawasi banyak meta-simpul karyawan?
- Mengapa propagasi balik dari sinyal kesalahan adalah satu-satunya yang tidak setara dengan umpan balik negatif?
- Tidak bisakah kolaborasi antara meta-vertex daripada pengawasan digunakan, di mana ada dua sisi timbal balik yang mewakili kontrol?
- Karena jaring saraf digunakan terutama untuk mempelajari fenomena nonlinier, mengapa melarang jenis jalur tertutup lainnya dalam desain jaring atau interkoneksinya?
- Apakah ada alasan mengapa suara tidak dapat ditambahkan ke gambar sehingga klip video dapat dikategorikan secara otomatis? Jika demikian, apakah skenario merupakan ekstraksi fitur yang mungkin dari sebuah film dan dapatkah arsitektur permusuhan digunakan untuk menghasilkan skenario dan menghasilkan film tanpa sistem studio film? Seperti apa rupa topologi itu sebagai grafik berarah?
- Meskipun sel-sel yang disusun secara ortogonal dapat mensimulasikan pengaturan pengepakan reguler dari simpul dan tepi non-ortogonal, apakah efisien untuk melakukannya dalam penglihatan komputer di mana kemiringan kamera selain plus atau minus 90 derajat adalah umum?
- Apakah efisien untuk mengatur sel individu dalam jaringan atau jaringan sel dalam sistem AI secara orthogonal dalam sistem pembelajaran yang ditujukan untuk pemahaman dan perakitan bahasa alami atau kognisi buatan?
Catatan
Sel buatan dalam MLP menggunakan fungsi transfer aritmatika mengambang atau tetap daripada transmisi pulsa elektro-kimia berdasarkan ambang berbasis amplitudo dan kedekatan. Mereka bukan simulasi neuron yang realistis, sehingga menyebut simpul neuron akan keliru untuk analisis semacam ini.
Korelasi fitur gambar dan perubahan relatif antara piksel dalam jarak dekat jauh lebih tinggi daripada piksel jauh.