Efisiensi daya otak manusia vs. jaringan saraf

Seberapa besar jaringan saraf tiruan yang dapat kita jalankan sekarang (baik dengan siklus train-backprop penuh atau hanya mengevaluasi output jaringan) jika total anggaran energi kita untuk komputasi setara dengan anggaran energi otak manusia ( 12,6 watt )?

Mari kita asumsikan satu siklus per detik, yang tampaknya secara kasar sesuai dengan laju pembakaran neuron biologis .

neural-networks human-like

— liori
sumber

Saya akan menanyakan pertanyaan ini. Saya senang orang lain sudah melakukannya :)

— Eka

126 juta neuron buatan pada 12,6 Watt, dengan True North IBM

Kembali pada tahun 2014, chip True North IBM mendorong 1 juta neuron kurang dari 100mW.

Jadi itu kira-kira 126 juta neuron buatan pada 12,6 Watt.

Seekor tikus memiliki 70 juta neuron.

IBM percaya mereka dapat membangun skala mainframe manusia-otak True North hanya dengan 4kW "belaka".

Begitu transistor 3D datang ke pasar, saya pikir kita akan mengejar efisiensi otak hewan dengan cukup cepat.

— Doxosophoi
sumber

> Jadi itu kira-kira 126 juta neuron buatan pada 12,6 Watt. > Seekor tikus memiliki 70 juta neuron. Masalahnya adalah, kita tidak tahu apakah satu "neuron" buatan benar-benar setara dengan neuron biologis nyata.

— mindcrime

Selain mindcrime, perlu diingat bahwa selama kurang lebih 60 tahun, para peneliti ilmu syaraf / AI secara konsisten sangat meremehkan kekuatan pemrosesan otak manusia. Saya melihat perkiraan awal dengan nama besar bahwa pikiran kita hanya bisa menyimpan beberapa MB 100! Kami belum memperhitungkan faktor-faktor seperti kedalaman bit, arsitektur yang tepat, kemungkinan keadaan kuantum dalam sel-sel otak, dll. IBM mungkin akan membangun jaringan saraf neuron 70-juta yang hemat daya yang bahkan tidak dapat memperkirakan perilaku parasit tikus . Peneliti AI secara historis selalu terlalu melebih-lebihkan kemampuan mereka sendiri.

— SQLServerSteve

Memang, lupa tentang chip IBM. Saya bahkan tidak mempertimbangkannya saat menulis pertanyaan, karena ada kritik terhadap efisiensi mereka (lihat misalnya facebook.com/yann.lecun/posts/10152184295832143 ). Meskipun secara teknis mereka masih menerapkan jaringan saraf, jadi +1 dari saya.

— liori

@mindcrime & SQLServerSteve Nah, pertanyaannya bisa saja secara khusus tentang umpan vanilla meneruskan JST yang berjalan pada perangkat keras saham. Tapi itu bukan kesan yang saya dapatkan dari pertanyaan itu.

— Doxosophoi

Tampaknya juga bukan tentang jaringan saraf tiruan yang belum dibayangkan.

— Doxosophoi

Jika Anda membatasi diri hingga 12,6 watt, Anda tidak akan menyelesaikan banyak hal. Lihat saja konsumsi daya untuk GPU modern, lihat ukuran jaringan yang dilatihnya, dan turunkan ukurannya. Sebagai referensi, GPU modern tampaknya mengkonsumsi antara 52-309 watt dalam penggunaan berat .

Jelas efisiensi energi adalah salah satu area di mana otak manusia masih jauh dari JST.

— mindcrime
sumber