Apakah kita secara teknis dapat membuat, dalam perangkat keras, jaringan saraf besar yang sewenang-wenang dengan teknologi terkini?

Jika neuron dan sinapsis dapat diimplementasikan menggunakan transistor, apa yang mencegah kita membuat jaringan saraf besar yang sewenang-wenang menggunakan metode yang sama dengan GPU yang dibuat?

Pada dasarnya, kita telah melihat betapa luar biasa jaringan saraf virtual diimplementasikan pada prosesor sekuensial bekerja (bahkan GPU adalah mesin sekuensial, tetapi dengan sejumlah besar core).

Orang dapat membayangkan bahwa menggunakan prinsip-prinsip desain GPU - yang pada dasarnya memiliki ribuan unit pemrosesan yang dapat diprogram yang bekerja secara paralel - kita dapat membuat "unit pemrosesan neuron" yang jauh lebih sederhana dan menempatkan jutaan atau milyaran NPU tersebut dalam satu chip besar. Mereka akan memiliki ingatan mereka sendiri (untuk menyimpan bobot) dan terhubung ke beberapa ratus neuron lain dengan berbagi bus. Mereka dapat memiliki frekuensi misalnya 20 Hz, yang akan memungkinkan mereka untuk berbagi data bus dengan banyak neuron lainnya.

Jelas, ada beberapa tantangan teknik listrik di sini, tetapi bagi saya tampaknya semua perusahaan teknologi besar harus menjelajahi rute ini sekarang.

Banyak peneliti AI mengatakan bahwa kecerdasan super akan datang sekitar tahun 2045. Saya percaya bahwa alasan mereka didasarkan pada hukum Moore dan jumlah neuron yang dapat kita implementasikan dalam perangkat lunak yang berjalan pada komputer tercepat yang kita miliki.

Tetapi faktanya, kita saat ini membuat chip silikon dengan milyaran transistor. SPARK M7 memiliki 10 miliar transistor.

Jika menerapkan neuron (yang tidak dapat diprogram) dan beberapa ratus sinapsis memerlukannya misalnya 100.000 transistor, maka kita dapat membuat jaringan saraf pada perangkat keras yang mengemulasi 100.000 neuron.

Jika kita mendesain chip sedemikian rupa sehingga kita bisa membuatnya secara fisik lebih besar jika kita menginginkan lebih banyak neuron, maka bagi saya tampaknya bahwa jaringan saraf besar yang sewenang-wenang hanyalah pertanyaan anggaran.

Apakah kita secara teknis dapat membuat, dalam perangkat keras, jaringan saraf besar yang sewenang-wenang dengan teknologi terkini?

Ingat: Saya TIDAK bertanya apakah jaringan seperti itu sebenarnya sangat cerdas. Saya hanya bertanya apakah kita secara faktual dapat membuat jaringan saraf yang besar dan saling berhubungan secara sewenang-wenang, jika kita memutuskan untuk membayar Intel untuk melakukan ini?

Implikasinya adalah bahwa pada hari beberapa ilmuwan dapat membuat kecerdasan umum dalam perangkat lunak, kita dapat menggunakan kemampuan perangkat keras kita untuk menumbuhkan kecerdasan umum ini ke tingkat manusia dan seterusnya.

Pendekatan yang Anda gambarkan disebut komputasi neuromorfik dan ini merupakan bidang yang cukup sibuk .

TrueNorth dari IBM bahkan memiliki neuron yang sangat kuat.

Masalah utama dengan proyek-proyek ini adalah belum ada yang tahu apa yang harus dilakukan dengan mereka.

Proyek-proyek ini tidak mencoba membuat chip yang dioptimalkan untuk menjalankan jaringan saraf. Itu tentu saja mungkin, tetapi bagian yang mahal adalah pelatihan bukan menjalankan jaringan saraf. Dan untuk pelatihan Anda membutuhkan perkalian matriks besar, GPU sudah sangat bagus. ( TPU Google akan menjadi chip yang dioptimalkan untuk menjalankan NN.)

Untuk melakukan penelitian tentang algoritma yang mungkin diterapkan di otak (kita hampir tidak tahu apa-apa tentang itu) Anda perlu fleksibilitas, sesuatu yang tidak dimiliki chip ini. Juga, tantangan rekayasa kemungkinan terletak pada penyediaan banyak sinapsis, cukup bandingkan rata-rata jumlah sinapsis per neuron TrueNorth, 256, dan otak, 10.000.

Jadi, Anda bisa membuat chip yang dirancang setelah beberapa arsitektur saraf dan itu akan lebih cepat, lebih efisien, dll ..., tetapi untuk melakukan itu Anda harus tahu arsitektur mana yang bekerja terlebih dahulu. Kita tahu bahwa pembelajaran mendalam berfungsi, jadi google menggunakan perangkat keras yang dibuat khusus untuk menjalankan aplikasi mereka dan saya pasti bisa membayangkan perangkat keras pembelajaran dalam yang dibuat khusus datang ke smartphone di dekat Anda di masa depan. Untuk membuat chip neuromorfik untuk AI yang kuat, Anda harus mengembangkan AI yang kuat terlebih dahulu.

Jika neuron dan sinapsis dapat diimplementasikan menggunakan transistor,

Saya harap Anda tidak berbicara tentang jaringan saraf yang saat ini memenangkan semua kompetisi dalam pembelajaran mesin (MLP, CNN, RNNs, Deep Residual Networks, ...). Mereka pernah digunakan sebagai model untuk neuron, tetapi mereka hanya sangat longgar terkait dengan apa yang terjadi dalam sel-sel otak nyata.

Jaringan spiking harus lebih dekat dengan neuron nyata. Saya pernah mendengar bahwa model Hodgkin-Huxley cukup realistis. Namun - berbeda dengan model yang saya sebutkan di atas - tampaknya tidak ada algoritma pelatihan yang efektif untuk jaringan spiking.

apa yang mencegah kita dari menciptakan jaringan saraf besar yang sewenang-wenang

• Sumber daya komputasi : Pelatihan jaringan saraf membutuhkan banyak waktu. Kita berbicara tentang ~ 12 hari dengan cluster GPU untuk beberapa model CNN dalam visi komputer.
• Data pelatihan : Semakin banyak variabel yang Anda tambahkan ke model, semakin banyak data yang perlu Anda perkirakan. Jaringan saraf bukan sihir. Mereka membutuhkan sesuatu yang bisa mereka kerjakan.

Tetapi faktanya, kita saat ini membuat chip silikon dengan milyaran transistor. SPARK M7 memiliki 10 miliar transistor.

Jika menerapkan neuron (yang tidak dapat diprogram) dan beberapa ratus sinapsis memerlukannya misalnya 100.000 transistor, maka kita dapat membuat jaringan saraf pada perangkat keras yang mengemulasi 100.000 neuron.

Ini tidak sesederhana itu:

• Asynchonosity : Jaringan syaraf biologis bekerja secara serempak. Ini berarti satu neuron mungkin aktif sementara yang lain tidak aktif.
• Emulasi : Anda menganggap hanya perlu satu siklus untuk mensimulasikan neuron biologis. Namun, itu membutuhkan ribuan siklus. Anda tidak bisa begitu saja menggunakan lebih banyak unit komputasi, karena beberapa hal tidak dapat diparalelkan. Misalnya, pikirkan fungsinya f(x) = sin(x*x + 1). Untuk manusia, pada dasarnya ada tiga perhitungan: r1 = x*x, r2 = r1 + 1, r3 = sin(r2). Bahkan jika Anda memiliki 3 orang yang bekerja untuk menghitung hasilnya, Anda tidak akan lebih cepat dari satu orang tercepat di grup ini. Mengapa? Karena Anda memerlukan hasil perhitungan terakhir.

Sementara sebuah transistor tunggal dapat mendekati fungsi dasar dari satu neuron, saya tidak bisa setuju bahwa elemen elektronik dapat mensimulasikan sinapsis / akson. Transistor terukir pada permukaan yang rata, dan dapat dihubungkan hanya dengan berdekatan atau dekat dengan transistor. Akson di otak menjangkau jarak yang sangat jauh (dibandingkan dengan ukuran neuron itu sendiri), dan tidak terbatas pada permukaan dua dimensi. Bahkan jika kita dapat mendekati jumlah transistor pada prosesor ke jumlah neuron di otak, kita tidak berada di dekat jumlah koneksi. Dapat juga dikatakan bahwa sinyal analog di otak membawa lebih banyak informasi per unit waktu, dibandingkan dengan impuls biner pada sebuah chip. Lebih jauh, otak sebenarnya memiliki plastisitas, yaitu koneksi antar neuron dapat dilemahkan / dibuang atau diluruskan / diciptakan,

Anda mungkin ingin mempertimbangkan daftar ini :

10 perbedaan penting antara otak dan komputer:

1. Otaknya analog, komputer itu digital
2. Otak menggunakan memori konten-addressable
3. Otak adalah mesin paralel masif; komputer bersifat modular dan serial
4. Kecepatan pemrosesan tidak tetap di otak; tidak ada jam sistem
5. Memori jangka pendek tidak seperti RAM
6. Tidak ada perbedaan perangkat keras / lunak yang dapat dibuat sehubungan dengan otak atau pikiran
7. Sinapsis jauh lebih kompleks daripada gerbang logika listrik
8. Tidak seperti komputer, pemrosesan dan memori dilakukan oleh komponen yang sama di otak
9. Otak adalah sistem yang mengatur diri sendiri
10. Otak memiliki tubuh