Apa yang membatasi, jika ada, yang menghentikan masalah dengan Inteligensi Buatan?

Mengingat masalah penghentian yang terbukti untuk mesin Turing , dapatkah kita menyimpulkan batas kemampuan Inteligensi Buatan yang kuat?

Apakah masalah penghentian menyiratkan batasan pada kognisi manusia?

Ya, tentu saja - bahwa ada potongan-potongan kode yang bisa dilihat manusia dan tidak yakin apakah itu akan berhenti dalam waktu yang terbatas. (Tentu saja ada potongan kode yang bisa dilihat manusia dan mengatakan "ya" atau "tidak", tetapi kita sedang berbicara tentang kode yang sebenarnya cukup sulit untuk dianalisis.)

Masalah penghentian berarti ada beberapa jenis analisis kode yang tidak dapat dilakukan oleh komputer, karena secara matematis tidak mungkin. Tetapi bidang kemungkinan masih cukup besar untuk memungkinkan kecerdasan buatan yang kuat (dalam arti kode yang dapat memahami dirinya sendiri dengan cukup baik untuk meningkatkan dirinya sendiri).

Masalah penghentian adalah contoh dari fenomena umum yang dikenal sebagai Undecidability , yang menunjukkan bahwa ada masalah yang tidak dapat diselesaikan mesin Turing dalam waktu yang terbatas. Mari kita pertimbangkan generalisasi bahwa tidak dapat diputuskan apakah Mesin Turing memenuhi beberapa properti non-sepele P, yang disebut teorema Rice .

Catatan pertama bahwa masalah penghentian hanya berlaku jika mesin Turing mengambil input panjang yang sewenang-wenang. Jika input dibatasi, dimungkinkan untuk menghitung semua kasus yang mungkin dan masalahnya tidak lagi diputuskan. Mungkin masih tidak efisien untuk menghitungnya, tetapi kemudian kita beralih ke teori kompleksitas, yang seharusnya menjadi pertanyaan terpisah.

Teorema Rice menyiratkan bahwa kecerdasan (manusia) tidak dapat dapat menentukan apakah kecerdasan lain (seperti AGI) memiliki properti tertentu, seperti bersikap ramah . Ini tidak berarti bahwa kami tidak dapat merancang AGI Ramah, tetapi itu berarti bahwa kami tidak dapat memeriksa apakah AGI sewenang-wenang ramah. Jadi, sementara kita dapat membuat AI yang dijamin ramah, kita juga perlu memastikan bahwa TI tidak dapat membuat AI lain yang tidak ramah.