Dalam konteks kecerdasan buatan, singularitas mengacu pada munculnya kecerdasan umum artifisial yang mampu meningkatkan diri secara rekursif, yang mengarah pada kemunculan superintelligence artifisial (ASI) yang cepat, batas-batasnya tidak diketahui, tak lama setelah singularitas teknologi tercapai. . Oleh karena itu, kecerdasan super ini akan mampu memecahkan masalah yang mungkin tidak dapat kami pecahkan.

Menurut sebuah jajak pendapat yang dilaporkan dalam progress Future dalam kecerdasan buatan: Sebuah survei pendapat ahli (2014)

Perkiraan median responden adalah untuk peluang satu dari dua bahwa kecerdasan mesin tingkat tinggi akan dikembangkan sekitar 2040-2050

yang tidak terlalu jauh.

Apa yang salah dengan gagasan bahwa AI akan mampu maha tahu, mengingat itu bisa menguntungkan kita dengan menyelesaikan banyak masalah?

Saya sangat menyukai pandangan Anda, dan tanpa masuk ke dalam perincian tentang bagaimana "singularitas" dapat dipengaruhi yang tercakup dalam banyak pertanyaan lain, atau bagaimana kesadaran dan "kemahatahuan" ikut berperan karena kesadaran dan kemahatahuan bukanlah persyaratan , saya akan sebaliknya mengarahkan Anda ke dua filsuf utama:

• Phillip K. Dick, untuk siapa tema sentral dalam bukunya yang terkenal pada 1968 tentang AI adalah empati. (Jika Anda belum membacanya, saya tidak memposting spoiler, tetapi hanya akan mengatakan plot didorong oleh konsep Teori Permainan Evolusi yang diresmikan hanya 5 tahun kemudian.)

• John Nash, dan khususnya, konsep Ekuilibrium Nash . (Nash dapat dikatakan secara matematis menunjukkan bahwa menjadi "douchebag" bukanlah strategi yang optimal. Buktinya dapat digunakan untuk menjelaskan mengapa nuklir détente benar-benar berfungsi , yang bertentangan dengan harapan Von Neumann.)

Jadi ketika orang menjadi gila, berfokus pada mitos " Skynet " di mana mesin bangkit untuk menghancurkan kita, saya harus bertanya-tanya apakah mereka tidak sepintar Nash atau sedalam Dick, yang mungkin menjelaskan kurangnya penekanan mereka pada apa yang bisa disebut paradigma " Domba Listrik ".

Pertanyaannya bagus dan ada di benak banyak orang. Ada beberapa kesalahpahaman dalam garis pemikiran untuk dipertimbangkan.

• Supremasi makhluk cerdas selain manusia mengancam peradaban - Apakah membayangkan ancaman itu masuk akal? Apakah itu kesimpulan rasional ketika kecerdasan manusia adalah fenomena biologis paling mengancam di biosfer saat ini. Kecerdasan serangga mungkin lebih berkelanjutan. Peradaban semut dan rayap tentu saja lebih kolaboratif. Perang dunia dan genosida adalah salah satu ciri utama sejarah manusia.
• Kecerdasan buatan menjadi lebih cerdas daripada manusia - Kecerdasan buatan sudah lebih cerdas daripada manusia dalam beberapa hal, itulah sebabnya kami menggunakan kalkulator, pengalihan otomatis sinyal komunikasi alih-alih operator, dan penyortir surat otomatis. Dengan cara lain, AI harus melintasi jarak astronomi untuk mulai mendekati kecerdasan manusia. Kami tidak memiliki apa pun yang bahkan menunjukkan sedikit pun kemampuan untuk mensimulasikan atau menduplikasi di masa depan kapasitas manusia dari penalaran, penemuan, atau kasih sayang.
• Singularitas diperkirakan tahun 2040-an - Ada lebih dari selusin asumsi yang tidak realistis dalam prediksi tersebut. Lihatlah dengan mata kritis pada salah satu argumen di belakang mereka dan Anda akan membuat lubang Anda bisa terbang 757 melalui mata tertutup.
• Pertumbuhan eksponensial dalam pengetahuan - Ada pertumbuhan eksponensial dalam informasi, tetapi proporsi informasi yang ditinjau secara peer peer menurun sebagai salah informasi, dugaan liar, dan peningkatan berita palsu. Keyakinan saya adalah bahwa jumlah informasi di dunia dapat diperkirakan dengan log (n), di mana n adalah populasi. Jika saya sesuai dengan hubungan itu, nilai informasi dari rata-rata individu adalah log (n) / n, yang berkurang seiring pertambahan populasi.
• AI akan mampu mahatahu - Mahatahu lebih dari menjawab pertanyaan apa pun. Mahatahu akan membutuhkan jawaban yang 100% dapat diandalkan dan 100% akurat, yang mungkin memerlukan lebih banyak silikon daripada yang ada di alam semesta. Baca Gleick's Chaos jika Anda ingin memahami alasannya. Seseorang mungkin juga berpendapat bahwa makhluk yang mahatahu tidak akan menjawab pertanyaan atas perintah.

Jika Anda menginginkan dunia yang lebih baik daripada yang dikendalikan oleh kecerdasan manusia, maka satu arah yang harus diambil adalah mencari pengembangan spesies baru dengan konsepsi yang lebih maju tentang peradaban damai yang dapat menjinakkan dan menjinakkan kita seperti yang telah kita lakukan dengan anjing dan kucing.

Rute yang lebih mudah adalah kita semua harus mati. Biosfer mungkin lebih beradab sebelum kami tiba dan mulai membunuh segalanya dan satu sama lain. Tapi itu bukan harapan saya.

Rekomendasi saya adalah kita mempelajari NI (non-intelijen) dan menemukan cara menghilangkan apa yang bodoh dari perilaku manusia dan interaksi geopolitik. Itu akan meningkatkan dunia lebih dari sekadar mengganggu dan aplikasi gadget mesin yang secara substansial tidak relevan.

Inilah beberapa masalah yang muncul di benak kera saya.

1.Smart! = Semua tahu

Ledakan peningkatan diri AI membuatnya lebih pintar dan lebih pintar. Menjadi lebih pintar tidak berarti mengetahui lebih banyak fakta. Saya kira ini argumen yang cukup pemilih, tapi saya pikir layak untuk dipikirkan.

Seorang dokter yang sangat cerdas yang tidak tahu riwayat Anda mungkin masih membuat pilihan yang lebih buruk daripada yang kurang cerdas dengan data yang lebih baik.

2. Apakah itu semua untuk manusia? Apakah ini untuk semua manusia?

ASI yang mencapai tingkat yang lebih tinggi tidak tertarik pada kesejahteraan kita.

ASI yang terkontrol masih bisa bekerja untuk kepentingan segelintir orang saja, jika beberapa orang ini memutuskan tujuan yang salah, kita bisa mundur.

3 Harsh ASI

Pikiran ilmiah dalam belum tentu penuh simpati atau empati.

4. Menjadi pintar dan tidak pintar

Pikiran besar masih membuat kesalahan: * dalam menetapkan tujuan mereka, dan * dalam melaksanakan rencana untuk mencapainya.

Intelek Geat tidak menjamin kurangnya shorosightedness atau kurangnya blind spot.

5. Batas

Jika ada batas-batas keberadaan (kecepatan jenis batas cahaya) maka AI akan terikat oleh ini juga. Ini mungkin berarti bahwa ada hal-hal yang bahkan ASI tidak akan 'dapatkan'. Juga, karena pikiran kita mungkin memiliki batas berdasarkan strukturnya, AI berikutnya mungkin juga memiliki batas - dan bahkan jika itu meningkat, uppn dapat mencapai batas yang tidak dapat ditemukan solusinya karena itu 'terlalu bodoh'.

6. Kami tidak akan mendapatkannya

Pemahaman ASI tentang aspek-aspek tertentu di dunia mungkin tidak komunikatif bagi kebanyakan manusia. Kami tidak akan mendapatkannya (bahkan jika kami mampu memahami segalanya, itu tidak berarti kami akan memahaminya).

7. Bagaimana cara menggunakannya?

Kita dapat menghancurkan diri kita sendiri, dan AI dengan teknologi itu membantu kita membangun. Tidak perlu bom. Itu bisa geoengineering atau obat ajaib.

Ini sangat intens ketika ASI sudah kuat tetapi tidak cukup kuat untuk mengabaikan konsekuensi negatif (atau kita akan mengabaikannya saja).