Adakah argumen kuat bahwa naluri bertahan hidup merupakan prasyarat untuk menciptakan AGI?

11

Pertanyaan ini bermula dari beberapa sumber "informal". Film seperti 2001, A Space Odyssey dan Ex Machina ; buku-buku seperti Destination Void (Frank Herbert), dan yang lainnya menunjukkan bahwa kecerdasan umum ingin bertahan, dan bahkan belajar pentingnya itu.

Mungkin ada beberapa argumen untuk bertahan hidup. Apa yang paling menonjol?

agi

— Eric Platon
sumber

@DukeZhou Apakah Anda memiliki dokumen publik tentang topik ini?

— Eric Platon

1

Belum. (Ini akan menjadi proses yang panjang karena siklus pengembangan kami sangat lambat. Saya juga mungkin seharusnya tidak mengatakan menyebutkan AGI dalam konteks ini karena apa yang saya benar-benar lihat adalah fungsi utilitas umum yang mengurangi risiko, bukan risiko. super-intelijen!) Ingin memperbarui Anda, tetapi mungkin lebih baik jika saya menghapus komentar asli saya karena terlalu optimis / menyesatkan dalam hal ini.

— DukeZhou

1

Pada dasarnya, pemikiran saya adalah bahwa fungsi utilitas ekonomi secara umum akan membentuk dasar yang baik untuk AGI dengan memberikan motif utama . (Idenya adalah bahwa kecerdasan umum hanya tingkat kemampuan kembali: serangkaian masalah yang berkembang tak terbatas.) Itu akan berhubungan dengan naluri bertahan hidup dalam arti bahwa automata didorong menuju pengambilan keputusan yang optimal dalam konteks mempertahankan dan memperbaiki kondisinya, (meskipun tidak sampai pada perluasan tanpa pikiran yang dapat membahayakan "ekosistemnya") , di mana setiap keputusan pada akhirnya dianggap sebagai ekonomi.

— DukeZhou

1

(jika Anda memiliki "tempat online" di mana topik-topik itu dapat didiskusikan, itu akan luar biasa --- saya pikir kita akan dikeluarkan dari situs ini)

— Eric Platon

6

Steve Omohudro menulis makalah yang disebut Basic AI Drives yang menjelaskan mengapa kita mengharapkan AI dengan tujuan yang sempit untuk menemukan beberapa konsep umum dasar yang bermanfaat secara instrumen untuk tujuan sempit mereka.

Sebagai contoh, sebuah AI yang dirancang untuk memaksimalkan pengembalian pasar saham tetapi desain yang diam tentang pentingnya melanjutkan untuk bertahan hidup akan menyadari bahwa kelangsungan hidup yang berkelanjutan adalah komponen kunci untuk memaksimalkan pengembalian pasar saham, dan dengan demikian mengambil tindakan untuk menjaga dirinya tetap beroperasi.

Secara umum, kita harus skeptis 'anthropomorphizing' AI dan kode lainnya, tetapi tampaknya seperti ada yang alasan untuk mengharapkan luar ini "baik, manusia berperilaku dengan cara ini, sehingga harus bagaimana semua berperilaku intelijen."

— Matthew Graves
sumber

1

Saya menganggap Omohudru menggunakan "memaksimalkan pengembalian" dalam konteks minimax, di mana mitigasi downside adalah bagian dari persamaan. Dari sudut pandang saya, "win else survive" adalah perpanjangan dasar dari minimax dalam game cyclic.

— DukeZhou

5

Konsep 'naluri bertahan hidup' mungkin masuk dalam kategori yang oleh Marvin Minsky disebut sebagai 'kata koper', yaitu mengemas bersama sejumlah fenomena terkait ke dalam apa yang awalnya tampak sebagai gagasan tunggal.

Jadi sangat mungkin bahwa kita dapat membangun mekanisme yang memiliki penampilan semacam naluri bertahan hidup 'tanpa kode', tanpa itu tidak pernah ditampilkan sebagai aturan eksplisit dalam desain.

Lihat buku kecil indah 'Kendaraan' karya neuroanatomist, Valentino Braitenberg, untuk narasi menarik tentang bagaimana konsep 'top down' seperti 'naluri bertahan hidup' dapat berkembang 'dari bawah ke atas'.

Juga, mencoba untuk memastikan bahwa artefak cerdas menempatkan prioritas terlalu tinggi pada kelangsungan hidup mereka dapat dengan mudah menyebabkan Killbot Hellscape .

— NietzscheanAI
sumber

2

Saya akan menjawab dengan mengutip buku The Myth of Sisyphus :

Hanya ada satu pertanyaan filosofis yang sangat serius, dan itu adalah bunuh diri.

Jadi, mungkin, kita memerlukan naluri bertahan hidup sampai tingkat tertentu jika kita tidak ingin AGI kita "mengakhiri diri mereka sendiri" (apa pun artinya), kapan pun mereka ada.

— kc sayz 'kc sayz'
sumber