Bukan hanya Hawking, Anda mendengar variasi tentang menahan diri dari banyak orang. Dan mengingat bahwa mereka kebanyakan orang yang sangat pintar, berpendidikan tinggi, dan berpengetahuan luas (misalnya, Elon Musk), mungkin tidak boleh diabaikan begitu saja.
Bagaimanapun, ide dasarnya adalah sebagai berikut: Jika kita menciptakan kecerdasan buatan "nyata", pada titik tertentu, ia akan dapat meningkatkan dirinya sendiri, yang meningkatkan kemampuannya untuk meningkatkan dirinya sendiri, yang berarti ia dapat meningkatkan kemampuannya untuk meningkatkan dirinya sendiri bahkan lebih, dan seterusnya ... kaskade pelarian yang mengarah ke "kecerdasan manusia super". Artinya, mengarah ke sesuatu yang lebih cerdas dari wilayah kita.
Jadi apa yang terjadi jika ada entitas di planet ini yang secara harfiah lebih cerdas daripada kita (manusia)? Apakah itu akan menjadi ancaman bagi kami? Yah, tampaknya masuk akal untuk berspekulasi bahwa itu bisa terjadi. OTOH, kami tidak punya alasan khusus, saat ini, untuk berpikir bahwa itu akan terjadi.
Jadi sepertinya Hawking, Musk, dll hanya turun di sisi yang lebih berhati-hati / menakutkan. Karena kita tidak tahu apakah AI manusia super akan berbahaya atau tidak, dan mengingat bahwa itu bisa tak terhentikan jika menjadi jahat (ingat, ini lebih pintar daripada kita!), Itu adalah hal yang masuk akal untuk dipertimbangkan.
Eliezer Yudkowsky juga menulis sedikit tentang hal ini, termasuk membuat percobaan "Kotak AI" yang terkenal. Saya pikir siapa pun yang tertarik dengan topik ini harus membaca beberapa materinya.
http://www.yudkowsky.net/singularity/aibox/