Mengapa jaringan saraf yang dalam dan pembelajaran yang mendalam tidak cukup untuk mencapai kecerdasan umum?


11

Segala sesuatu yang terkait dengan Deep Learning (DL) dan jaringan deep (er) tampaknya "berhasil", setidaknya berkembang sangat cepat, dan menumbuhkan keyakinan bahwa AGI berada dalam jangkauan. Ini adalah imajinasi populer. DL adalah alat luar biasa untuk mengatasi begitu banyak masalah, termasuk pembuatan AGI. Tapi itu tidak cukup. Alat adalah bahan yang diperlukan, tetapi seringkali tidak mencukupi.

Tokoh terkemuka dalam domain mencari tempat lain untuk membuat kemajuan. Ini laporan / mengklaim mengumpulkan link ke pernyataan Yoshua Bengio , Yann LeCun dan Geoff Hinton . Laporan itu juga menjelaskan:

Kelemahan utama DL (seperti yang saya lihat) adalah: ketergantungan pada neuron model yang paling sederhana ("kartun" seperti LeCun menyebutnya); penggunaan ide dari Mekanika Statistik dan Statistik abad ke-19, yang merupakan dasar fungsi energi dan metode log-likelihood; dan kombinasi dari ini dalam teknik-teknik seperti backprop dan stochastic gradient descent, yang mengarah ke rezim aplikasi yang sangat terbatas (offline, sebagian besar batch, pembelajaran yang diawasi), membutuhkan praktisi yang sangat berbakat (alias "Stochastic Graduate Descent"), sejumlah besar mahal berlabel data pelatihan dan kekuatan komputasi. Walaupun bagus untuk perusahaan besar yang dapat memikat atau membeli bakat dan menggunakan sumber daya tak terbatas untuk mengumpulkan data dan mengolahnya, DL tidak mudah diakses atau berguna bagi sebagian besar dari kita.

Meskipun menarik dan relevan, penjelasan semacam itu tidak benar-benar menjawab inti masalahnya: Apa yang kurang?

Pertanyaan itu tampaknya luas, tetapi mungkin karena kurangnya jawaban yang sederhana. Apakah ada cara untuk menunjukkan dengan tepat apa yang kurang dari DL untuk AGI?


Jawaban:


7

Semua orang yang berurusan dengan jaringan saraf kehilangan poin penting ketika membandingkan sistem dengan kecerdasan seperti manusia. Manusia membutuhkan waktu berbulan-bulan untuk melakukan sesuatu yang dapat dipahami, apalagi untuk dapat menyelesaikan masalah di mana manusia dewasa hampir tidak dapat mengelola. Itu dan ukuran otak manusia sangat besar dibandingkan dengan jaringan saraf kita. Arah mungkin benar, tetapi skalanya jauh. Jumlah neuron dalam otak manusia dapat dicocokkan dengan ingatan tetapi jumlah paralelisme untuk mensimulasikannya secara real-time belum dapat dicapai (setidaknya untuk peneliti acak). Meskipun agak tua ini mungkin memberi Anda gambaran tentang seberapa banyak kita kekurangan kekuatan pemrosesan.


Terima kasih atas jawaban singkat ini. Apakah Anda mengatakan bahwa hanya ukuran yang penting untuk mencapai AGI ke atas, hanya dengan teknologi DL? Ukuran memang penting, tapi belum ada yang hilang. (Kata pun dalam paragraf ini sepenuhnya dimaksudkan).
Eric Platon

1
Sebagai contoh, mari kita pertimbangkan automata seluler ala Wolfram. Sangat sederhana, namun mengarah pada kompleksitas yang mengejutkan.
Eric Platon

Apakah komputasi kuantum, bentuk apa pun yang akhirnya mengambil, salah satu solusi yang diusulkan untuk masalah pemrosesan ini?
DukeZhou

Pemrosesan kuantum dapat digunakan untuk mencapai suatu keputusan pada suatu titik tetapi tidak dapat digunakan untuk mensimulasikan aliran kontinu seperti di otak manusia. Setelah sistem diamati gelombang kuantum runtuh, menguranginya menjadi sistem sekuensial lambat.
Cem Kalyoncu

1
@CemKalyoncu Memang. Tetapi seekor gajah memiliki hampir 3 kali lipat jumlah manusia . Argumen ukuran penting, tentu saja, tetapi ukuran saja tampaknya tidak cukup.
Eric Platon

6

Deep Learning sebagian besar berhasil dalam pembelajaran yang diawasi, sedangkan otak membangun kategori sebagian besar dengan cara yang tidak diawasi. Kami belum tahu bagaimana melakukannya. (Lihatlah google brain : 16.000 core dan yang dapat dilakukan adalah mengenali kucing dan wajah manusia dengan akurasi yang sangat buruk.)

Deep Learning menggunakan aktivasi yang sangat tidak terstruktur, yaitu representasi tingkat tinggi "anjing" dan "kucing" dalam pengklasifikasi jaringan saraf tidak harus sama sekali. Otak di sisi lain menggunakan neuron penghambat untuk membuat representasi terdistribusi jarang yang terurai menjadi aspek semantik mereka. Itu mungkin penting untuk abstraksi dan penalaran dengan analogi.

Otak memiliki banyak bagian berbeda yang bekerja bersama. Peneliti Deep Learning baru saja mulai mengintegrasikan memori atau mekanisme perhatian ke dalam arsitektur mereka.

Otak mengintegrasikan informasi dari banyak indera yang berbeda. Sebagian besar aplikasi Deep Learning hanya menggunakan satu jenis input, seperti teks atau gambar.

Otak mampu memodelkan urutan sebagai kategori. (Pada dasarnya setiap kata kerja menamai kategori berurutan (yaitu temporal).) Ia kemudian dapat mengatur kategori-kategori ini menjadi rencana hierarkis jangka panjang. Sejauh ini saya belum melihat apa pun ke arah itu dalam Pembelajaran Jauh.

Juga jaringan saraf belum dapat beroperasi pada skala yang sama dengan otak manusia. Jika Anda melihat jawaban untuk pertanyaan ini , otak manusia akan berada di depan dalam hitungan neuron selama beberapa dekade. Jaringan saraf mungkin tidak memerlukan jumlah neuron yang sama dengan otak untuk mencapai kinerja yang sama (karena akurasi yang lebih tinggi), tetapi saat ini misalnya pemrosesan video masih sangat terbatas dalam hal input dan throughput.


Poin menarik di sini juga, terima kasih. Perhatian saya di sini adalah bahwa itu adalah proses yang kontras (pembelajaran mendalam) dan struktur (dari jaringan atau otak). Jika tren ini benar, AGI hanyalah masalah waktu berdasarkan apa yang kita miliki. Anda memang menyebutkan masalah semantik di jaringan yang dalam, mungkin paling baik dilihat dalam model permusuhan. Ini menunjukkan bahwa ada sesuatu yang hilang, dan merupakan salah satu argumen terbaik dalam jawaban ini. Saya mengerti bahwa struktur saat ini tidak mencukupi (yaitu model memori awal). Ini secara tidak langsung menangani masalah "mengapa". Apakah Anda melihat cara untuk memperbaiki jawaban Anda?
Eric Platon

Apakah pendekatan "hanya optik" baru-baru ini untuk permainan ML memainkan upaya untuk membebaskan diri dari pembelajaran yang diawasi?
DukeZhou

@DukeZhou: Saya pikir teknik RL mungkin memainkan peran dalam pembelajaran tanpa pengawasan, tetapi saat ini tampaknya bagi saya bahwa RL belum mempelajari konsep tingkat tinggi, belum.
BlindKungFuMaster

1
@EricPlaton: Saya tidak yakin saya mengerti komentar Anda. Apa yang saya pikir hilang adalah 1. struktur dan 2. skala. Dan tentu saja algoritma, tetapi mereka terkait dengan struktur.
BlindKungFuMaster

3

IMHO rintangan pertama adalah skala : bahkan DNN terbesar Google tidak mendekati skala otak, dan dengan faktor beberapa perintah besarnya ...


2

Saya pikir itu masih hilang aspek apa yang membuat otak manusia; memiliki banyak jaringan berbeda yang saling bekerja sama.

Sama seperti meditasi meningkatkan kemampuan kognitif dengan membuat otak bekerja lebih sinergis, kita juga bisa menerapkannya pada mesin.

Misalnya google sedang belajar komputer untuk bermimpi, sama seperti yang kita lakukan, untuk memperkuat apa yang sudah kita pelajari. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Dan di sini adalah pathnet, jaringan jaringan saraf. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Menciptakan semua mekanik ini dan menyatukan semuanya, dengan kekuatan yang cukup dan kita akan cukup dekat!


Bisakah Anda menjelaskan apa itu? Ini bisa berupa proses pembelajaran yang mendalam, atau jaringan yang sama-sama dalam. Ini berbeda.
Eric Platon

1
Keduanya, tetapi sebagian besar memiliki jaringan saraf yang dalam bekerja satu sama lain, saya berspekulasi bahwa DNN juga harus memiliki fitur plastisitas saraf yang baik. Tapi ini adalah sesuatu yang kita hanya bisa menyentuh dasar-dasarnya, kita bahkan tidak tahu bahkan tahu persis bagaimana otak manusia bekerja
Alexander

1

Para pendukung kecerdasan buatan saat ini berfokus pada masalah kemampuan komputasi - kemampuan untuk memecahkan masalah yang kompleks dengan cepat. Adalah keyakinan saya bahwa jumlah keberhasilan apa pun dalam arah ini tidak akan mengarah pada kecerdasan manusia (umum) meskipun pasti akan mengungguli manusia dalam domain tertentu. Sebaliknya, upaya harus menuju studi tentang apa yang menyebabkan sensasi peristiwa neurologis (pengalaman qualia). Tentu saja, ini adalah masalah filosofi yang sulit, tetapi saya percaya ini adalah kunci unik untuk kecerdasan umum dan kemampuannya. Rekayasa terbalik dan juga teori yang dapat diuji harus diajukan untuk mencapai tujuan ini.


1
Quaila mungkin merupakan sifat yang menarik untuk dimiliki mesin (terutama jika kita ingin orang memberikan hak untuk mesin ini), tetapi selain dari quaila itu sendiri merupakan masalah yang sangat sulit dalam filosofi, ada dua masalah utama yang dimainkan. (A) intelijen itu sendiri mungkin tidak memerlukan quaila, Anda bisa menjadi pintar tanpa bisa memiliki pengalaman orang pertama subjektif..yaitu, zombie filosofis.
Kiri SE Pada 10_6_19

(B) Industri hanya peduli untuk menyelesaikan masalah yang rumit dengan cepat dan tidak benar-benar khawatir tentang apakah mesin cepat itu dapat berpikir atau merasakan. AGI hanya diinginkan sejauh ia dapat menyelesaikan masalah yang kompleks dengan cepat ... intelijen hanyalah alat untuk mencapai tujuan. (Faktanya, industri mungkin tidak menginginkan mesin yang dapat berpikir dan merasakan, karena mesin seperti itu mungkin berhak mendapatkan hak ... dan hak itu seperti peraturan, membatasi apa yang dapat dilakukan bisnis dengan alat mereka.)
Ditinggalkan SE pada 10_6_19
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.