Mengapa AI perlu 'memusnahkan umat manusia'?

Saya membaca omong kosong tentang bagaimana AI akan mengubah dunia menjadi superkomputer untuk memecahkan masalah yang menurutnya perlu dipecahkan. Itu bukan AI. Itu pemrograman prosedural terjebak dalam beberapa omong kosong. AI perlu berevolusi dan mengatur kembali neuronnya. Itu tidak akan terjebak pada hardcode jika menjadi cerdas dengan menulis ulang kodenya.

Itu mungkin efek samping

Setiap agen yang berorientasi pada tujuan mungkin, dengan baik, hanya melakukan hal-hal yang mencapai tujuannya sambil mengabaikan efek samping yang tidak penting untuk tujuan-tujuan ini.

Jika tujuan saya mencakup ruang tamu yang rapi, saya dapat mengubah halaman saya menjadi halaman rumput atau trotoar yang bagus sambil menghapus ekosistem kehidupan yang kompleks yang ada di sana sebelumnya, karena saya tidak peduli dengan hal itu.

Jika tujuan dari AI yang kuat tertentu kebetulan termasuk melakukan sesuatu dalam skala besar, dan entah bagaimana tidak terlalu peduli dengan ekosistem yang kompleks saat ini, maka ekosistem itu mungkin terhapus dalam proses. Tidak perlu ingin atau perlu memusnahkan kita. Jika kita sama sekali tidak relevan dengan tujuannya, maka kita terbuat dari bahan dan menempati ruang yang mungkin ingin digunakan untuk hal lain.

Kami adalah ancaman bagi sebagian besar tujuan

Agen berorientasi tujuan apa pun mungkin ingin memastikan bahwa mereka dapat memenuhi tujuan mereka. Setiap pintar agen akan mencoba untuk mengantisipasi tindakan agen lain yang dapat mencegah mereka dari mencapai tujuan mereka, dan mengambil langkah-langkah untuk memastikan bahwa mereka berhasil pula. Dalam banyak kasus lebih mudah untuk menghilangkan agen-agen lain daripada memastikan bahwa upaya mereka gagal.

Misalnya, tujuan saya mungkin termasuk menyimpan sekantong gula di rumah pedesaan sehingga saya dapat membuat pancake ketika berkunjung tanpa membawa semua bahan setiap saat. Namun, jika saya meninggalkannya di sana, kemungkinan dimakan oleh tikus selama musim dingin. Saya dapat mengambil semua jenis tindakan pencegahan untuk menyimpannya dengan lebih baik, tetapi tikus itu cerdas dan licik, dan jelas ada peluang nontrivial bahwa mereka masih akan berhasil mencapai tujuan mereka , jadi tindakan pencegahan ekstra yang efektif adalah membunuh tikus sebelum mereka mendapatkan kesempatan untuk mencoba.

Jika tujuan AI kuat tertentu adalah untuk melakukan X; mungkin sampai pada pemahaman bahwa (sebagian?) manusia mungkin sebenarnya tidak menginginkan X tetapi Y sebagai gantinya. Dapat juga dengan mudah menyimpulkan bahwa beberapa dari manusia itu mungkin secara aktif melakukan hal-hal yang mencegah X dan / atau mencoba mematikan AI. Melakukan hal-hal yang memastikan bahwa tujuan tercapai adalah apa yang dilakukan oleh agen pencari tujuan; dalam hal ini jika keberadaan manusia tidak sepenuhnya diperlukan untuk tujuan X, maka menghilangkannya menjadi strategi pengurangan risiko yang solid. Ini tidak sepenuhnya diperlukan dan mungkin perlu semua jenis tindakan pencegahan lainnya, tetapi seperti dalam contoh saya tentang tikus, manusia cerdas dan licik dan jelas ada peluang nontrivial bahwa mereka masih akan berhasil mencapai mereka tujuan (agar X tidak terjadi sesuai keinginan AI) sehingga tindakan pencegahan ekstra yang efektif dapat membunuh mereka sebelum mereka mendapatkan kesempatan untuk mencoba.

Itu tidak selalu omong kosong. Itu semua tergantung pada kriteria yang diberlakukan. Bayangkan yang berikut ini. Katakanlah sistem AI canggih dirancang untuk mengontrol stabilitas fauna dan flora lokal (area tertutup dalam semacam kubah). Ini dapat mengontrol tekanan di bawah kubah, jumlah cahaya yang melewati kubah dll - segala sesuatu yang memastikan kondisi optimal. Sekarang, katakan bahwa kubah dihuni oleh berbagai spesies, termasuk manusia. Perlu dicatat bahwa implementasi sederhana dari sistem tersebut sedang digunakan saat ini.

Mengingat bahwa manusia cenderung menghancurkan dan menyalahgunakan sumber daya alam serta mencemari lingkungan, sistem dapat memutuskan bahwa menurunkan populasi spesies yang diberikan (manusia dalam kasus ini) dapat dalam jangka panjang menguntungkan seluruh bioma.

Prinsip yang sama dapat diterapkan secara global. Namun, ini mengasumsikan bahwa semua spesies (termasuk manusia) diperlakukan sama dan tujuan terbaik dari AI adalah memastikan stabilitas bioma yang "dijaga". Orang-orang melakukan hal-hal seperti ini saat ini - kami mengendalikan populasi beberapa spesies untuk menjaga keseimbangan - serigala, ikan, dan lain-lain.

Saya merasa seperti sebagian besar skenario tentang AI yang memusnahkan dunia jatuh ke dalam salah satu dari dua kategori:

1. AI yang Antropomorfis

atau

2. Jalankan Komputer Cerdas Tapi Bodoh

Dalam (1) kasus, orang berbicara tentang AI menjadi "jahat" dan menghubungkan mereka dengan unsur-unsur manusia lainnya. Saya melihat ini sebagai sebagian besar sci-fi dan tidak berpikir itu pantas diskusi serius. Yaitu, saya tidak melihat alasan khusus untuk berasumsi bahwa Intelegensi Buatan - terlepas dari seberapa cerdasnya - akan berperilaku seperti manusia.

Kasus (2) lebih masuk akal bagi saya. Ini adalah gagasan bahwa AI adalah, misalnya, mengendalikan silo rudal nuklir dan akhirnya meluncurkan rudal karena itu hanya melakukan pekerjaan itu, tetapi melewatkan sesuatu yang manusia akan perhatikan melalui apa yang kita sebut "akal sehat" ". Oleh karena itu moniker "Intelligent but Dumb".

Tak satu pun dari ini menurut saya sangat mengkhawatirkan, karena (1) mungkin fiksi dan (2) tidak melibatkan niat jahat yang sebenarnya oleh AI - yang berarti itu tidak akan secara aktif mencoba menipu kita, atau mengatasi masalah keselamatan cut-out, dll.

Sekarang JIKA seseorang membangun AI dan memutuskan untuk memprogramnya dengan sengaja sehingga mengembangkan karakteristik seperti manusia seperti kesombongan, ego, keserakahan, dll ... yah, semua taruhan dibatalkan.

AI sudah digunakan sebagai senjata - pikirkan drone.

Saya menduga, skenario "robot mengambil alih dunia" memiliki probabilitas tertinggi, jika ia memiliki langkah perantara. Langkah menengah ini bisa jadi "manusia mengambil alih dunia dengan robot".

Ini bisa pergi ke suatu tempat ke arah yang salah.

Saya curiga, itu tidak pasti sejauh kelihatannya. Anggap AS saat ini memiliki 8000 drone. Bagaimana jika itu akan memiliki 8 juta? Sebuah kelompok kecil yang mampu mengendalikan mereka dapat mengambil alih dunia. Atau kelompok-kelompok kecil yang mengendalikan berbagai bagian armada, dapat bertarung melawan satu sama lain. Mereka tidak boleh semuanya di AS - pada saat AS akan memiliki armada ini, negara lain juga akan mengembangkannya.

Namun, pengambilalihan dunia bagi saya terasa tidak nyata - para pemimpin militer mungkin dapat mengubah pilot manusia menjadi drone, itu bukan pekerjaan mereka. Tetapi "kontrol tingkat tinggi", yaitu untuk menentukan, apa yang harus dilakukan, siapa targetnya, keputusan-keputusan ini tidak akan mereka berikan dari tangan mereka.

Di samping itu, robot tidak memiliki tujuan jangka panjang. Kita, manusia, miliki.

Jadi saya tidak menganggap pengambilalihan gaya skynet sangat realistis, tetapi "kesalahan" gaya chernobyl dari perintah yang disalahartikan, yang mengakibatkan amukan armada yang tak terhentikan, bagi saya tampaknya tidak mungkin.