Bisakah jaringan yang dalam dilatih untuk membuktikan teorema?

Asumsikan kita memiliki sejumlah besar bukti dalam kalkulus predikat urutan pertama. Asumsikan kita juga memiliki aksioma, akibat wajar, dan teorema di bidang matematika itu dalam bentuk itu juga.

Pertimbangkan setiap proposisi yang dibuktikan dan tubuh teori yang ada yang mengelilingi proposisi spesifik sebagai contoh dalam set pelatihan dan bukti yang baik untuk proposisi sebagai label terkait. Sekarang, pertimbangkan jaringan buatan yang dalam yang dirancang khusus untuk melatih pada set contoh ini, dan parameter hiper yang diatur dengan benar untuk melakukannya.

Apakah mungkin untuk melatih jaringan artifisial yang mendalam sedemikian rupa sehingga penyajian proposisi baru dan teori yang ada di sekitarnya disajikan dalam kalkulus predikat urutan pertama pada input akan menghasilkan bukti pada output?

(Tentu saja, bukti tersebut kemudian harus diperiksa secara manual.)

Jika proporsi bukti baik yang dihasilkan cukup tinggi, mungkinkah membuat algoritma genetika yang mengajukan proposisi ke jaringan dalam yang terlatih sehingga menghasilkan bukti?

Apakah itu mungkin?

Mungkinkah menggunakan desain jaringan dalam semacam ini untuk menyelesaikan dugaan Collatz atau dugaan Riemann atau setidaknya menata ulang pola sedemikian rupa sehingga matematikawan lebih mampu untuk sampai pada bukti yang sah?

Sistem produksi yang ada, dikembangkan selama beberapa dekade terakhir, memiliki aturan inferensi yang dikodekan ke dalamnya. Mereka didasarkan pada visi Leibniz bahwa semua logika klasik dapat dikodekan ke dalam bahasa simbolik dan diproses secara mekanis. Logika predikat urutan pertama dikembangkan dan sebuah nomenklatur diformalkan.

Meskipun visi pembuktian teorema otomatis sangat ditantang oleh dua teorema ketidaklengkapan Gödel, karya kelengkapan Turing dan pengembangan arsitektur untuk secara praktis mewujudkannya dengan von Neumann menghidupkan kembali pekerjaan ke arah mengotomatiskan proses mekanik inferensi.

Laboratorium AI MIT, selama masa Minsky, masih hidup dengan upaya seperti itu, tetapi apa yang mereka sebut ledakan kombinasi menunjukkan bahwa ada ketersediaan sumber daya komputasi yang tidak memadai untuk mencari ruang yang diperlukan untuk secara otomatis membuktikan teorema acak dari kompleksitas non-sepele. Komputer paralel besar yang disebut mesin koneksi dan berbagai skema, menggunakan aturan meta dan pendekatan heuristik, digunakan untuk mengatasi masalah ledakan kombinasi.

Jaringan buatan diperkenalkan dan gagasan bahwa mereka dapat menyaingi mesin produksi dikalahkan oleh komunitas LISP ketika pertama kali diusulkan. Namun, dalam konteks keberhasilan yang cukup besar dalam meningkatkan sumber daya komputasi dan pencapaian baru-baru ini dalam pembelajaran mesin, banyak yang mulai mengajukan pertanyaan yang telah disimpan pada abad kedua puluh.

Kita sudah tahu bahwa jaringan buatan dapat mempelajari fungsi logis dan aljabar sewenang-wenang, banyak di antaranya PAC Learnable. ¹ Mengingat lingkungan belajar yang tepat, mempelajari inferensi logis jelas merupakan sesuatu yang dapat dilakukan korteks serebral pada titik saat ini dalam evolusi. Apakah jaringan saraf akan mencapai tingkat kognisi adalah pertanyaan terbuka yang banyak ditanyakan.

Bahwa AI utama dan penelitian pembelajaran mesin tidak berfokus pada akuisisi jaringan buatan dari aturan inferensi logis, terutama karena memprogram mereka ke dalam sistem seperti DRools dan sistem produksi yang umum digunakan tampaknya pendekatan yang lebih rasional tidak berarti akan selalu seperti itu. Pertanyaannya adalah apakah ada pengembalian investasi yang cukup untuk melakukan apa yang mungkin menarik tetapi tentu mahal, ketika solusi lain sudah ada.

Pertanyaan ini mirip dengan pertanyaan Artificial Intelligence Stack Exchange lain tentang seberapa bagus AI dalam matematika. Salah satu jawaban yang diberikan ada yang berlaku di sini.

Penting untuk tidak mengabaikan pendekatan apa pun dalam periode waktu ini, karena minat baru-baru ini terhadap AI tidak hanya menyalakan kembali pengeluaran pemerintah tetapi juga belanja komersial. Pengeluaran ini meningkatkan personel, daya komputasi, dan insentif untuk mengatasi hambatan yang mungkin dianggap tidak dapat diatasi sebelumnya.

Catatan kaki

[1] Pembelajaran PAC adalah kerangka kerja untuk menentukan komputasi praktis dari algoritma pembelajaran yang diberikan fitur-fitur dari kelas hipotesis yang dapat dipelajari dengan menggunakan model yang diberikan dan keakuratan dan kepercayaan diri yang diharapkan dari proses pembelajaran.

Ide Anda mungkin layak secara umum, tetapi jaringan saraf mungkin adalah alat tingkat tinggi yang salah untuk digunakan untuk mengeksplorasi masalah ini.

Kekuatan jaringan saraf adalah dalam menemukan representasi internal yang memungkinkan solusi yang sangat nonlinier ketika memetakan input ke output. Ketika kita melatih jaringan saraf, pemetaan itu dipelajari secara statistik melalui pengulangan contoh. Ini cenderung menghasilkan model yang interpolasi dengan baik ketika diberi data yang mirip dengan set pelatihan, tetapi ekstrapolasi buruk.

Model jaringan saraf juga tidak memiliki konteks, sehingga jika Anda menggunakan model generatif (misalnya RNN yang dilatih tentang urutan yang membuat bukti yang valid atau menarik) maka ia dapat dengan mudah menghasilkan sampah yang menyenangkan secara statistik tetapi tidak berarti.

Apa yang Anda butuhkan adalah beberapa prinsip pengorganisasian yang memungkinkan Anda untuk mengeksplorasi dan mengkonfirmasi bukti secara kombinatorial. Sebenarnya sesuatu seperti ide Anda sudah dilakukan lebih dari satu kali, tetapi saya tidak dapat menemukan referensi saat ini.

Tak satu pun dari ini menghentikan Anda menggunakan jaringan saraf dalam AI yang mencari bukti. Mungkin ada tempat dalam AI matematika di mana Anda memerlukan heuristik yang baik untuk memandu pencarian misalnya - misalnya dalam konteks X adalah sub-bukti Y yang cenderung menarik atau relevan. Menilai skor kemungkinan adalah sesuatu yang dapat dilakukan oleh jaringan saraf sebagai bagian dari skema AI yang lebih luas. Itu mirip dengan bagaimana jaringan saraf dikombinasikan dengan pembelajaran penguatan.

Dimungkinkan untuk membangun ide Anda secara keseluruhan dari jaringan saraf pada prinsipnya. Lagi pula, ada alasan bagus untuk mencurigai penalaran manusia bekerja dengan cara yang sama menggunakan neuron biologis (tidak terbukti bahwa buatan dapat cocok dengan cara ini). Namun, arsitektur sistem seperti itu berada di luar desain NN modern atau pengaturan pelatihan. Ini pasti tidak akan menjadi masalah hanya dengan menambahkan lapisan yang cukup kemudian memasukkan data.

Apa Yang Kita Ketahui

Menurut halaman Bank Dunia , "Hari ini, ada sekitar 200 juta siswa pendidikan tinggi di dunia, naik dari 89 juta pada tahun 1998." Setidaknya 1 dari 100, sebagai persyaratan matematika, harus mengembangkan bukti untuk teorema, dan hidup setidaknya 40 tahun sesudahnya.

Meskipun ada setidaknya 20 juta jaring saraf yang dapat membuktikan teorema, mereka gagal contoh yang akan menjawab pertanyaan ini di afirmatif. Jaringan saraf ini adalah biologis, bukan buatan, dan mereka sebagian besar telah membuktikan teorema yang telah dibuktikan sebelumnya, bukan dugaan Collatz atau dugaan Riemann.

Apa Beberapa Percaya

Mereka yang percaya bahwa perangkat berbasis Q-learning dan berbasis perhatian akan bergabung dengan desain sistem pembelajaran lainnya hingga kemampuan otak manusia disimulasikan dan mungkin dilampaui, kemungkinan akan menyertakan teorema yang membuktikan sebagai salah satu dari kemampuan manusia tersebut. Ini kemungkinan akan menyatakan predikat logika dan inferensi hanya sebagai fungsi kognitif kompleks lain yang akan dicapai dalam sistem buatan.

Mereka yang percaya bahwa beberapa kemampuan ditanamkan ke dalam manusia dan merupakan kemampuan yang dicadangkan, dapat menyatakan predikat logika dan kesimpulan sebagai milik manusia saja.

Status Kemajuan Saat Ini

Tidak ada artikel akademik yang menunjukkan kemampuan untuk membuktikan bahkan bukti paling sederhana menggunakan logika predikat dan inferensi. Ada kemungkinan bahwa pemerintah atau perusahaan swasta telah mencapai beberapa tingkat keberhasilan dalam melakukannya, tetapi hal tersebut belum diungkapkan.

Gagasan bahwa jaringan buatan, jika dikembangkan secara layak, dapat melampaui sistem produksi, sistem AI yang didasarkan pada produksi atau aturan, di bidang mereka yang paling efektif diusulkan pada awal pengembangan AI. Itu diperdebatkan dulu dan disengketakan sekarang, namun argumennya tidak matematis, jadi tidak ada indikasi kuat bahwa itu tidak mungkin.

Tentu saja aspek kognitif lain dari pemikiran manusia adalah tujuan penting dari penelitian AI. Dialog, pendidikan otomatis, perencanaan, analisis strategis, dan uji coba kendaraan adalah semua aspek pemikiran yang lebih tinggi yang menuntut lebih dari DQN dan pendekatan jaringan berbasis perhatian sekarang dapat mewujudkannya, tetapi upaya penelitian di bidang ini cukup besar dan didanai dengan baik.

Pendekatan Potensial

Penelitian terhadap kemampuan kognitif logis harus memulai bukti yang sudah diketahui, jauh lebih sederhana daripada dugaan yang disebutkan dalam pertanyaan. Misalnya, telah terbukti bahwa jumlah dua bilangan bulat non-negatif harus berupa bilangan bulat non-negatif lainnya. Dalam predikat kalkulus, itu dapat direpresentasikan sebagai string karakter.

$\forall a∈C, b∈C: s=a+b \implies s∈C$

Dikatakan bahwa a dan b menjadi anggota dari himpunan angka penghitungan, bahwa huruf s, yang didefinisikan sebagai jumlah dari keduanya, juga harus menjadi anggota dari himpunan angka penghitungan. Buktinya juga dapat direpresentasikan sebagai rangkaian rangkaian karakter kalkulus predikat orde pertama.

Tidak Ada Proyek Penelitian Kecil

Contoh seperti itu mungkin terlihat sederhana bagi seseorang yang telah mengambil kursus matematika bertahun-tahun dan telah membuat bukti. Ini tidak sederhana untuk seorang anak, dan sangat sulit untuk mendapatkan jaringan buatan untuk menyatu dengan fungsi yang menerapkan semua aturan inferensi logis dan menggabungkan meta-aturan untuk sampai pada bukti untuk sistem formal seperti aritmatika bilangan bulat.

Turing jaringan yang lengkap, seperti RNNs, tentu akan memiliki keunggulan dibandingkan MLP (multilayer perceptrons). Jaringan berbasis perhatian dapat menjadi pilihan penelitian yang masuk akal. Ada yang lain ditunjukkan dalam referensi di bawah ini.

Platform komputasi paralel akan diperlukan untuk penelitian ini, karena vektor input mungkin ratusan Kbytes. Ukuran contoh dan berapa banyak yang dibutuhkan sulit untuk diperkirakan tanpa melibatkan satu atau dua tahun ke dalam proses penelitian.

Definisi angka penghitungan, tanda tambah, dan tanda sama dengan pertama-tama harus didefinisikan, dan definisi dan sejumlah aksioma, postulat, lemmas, dan konsekuensi wajar harus menjadi bagian dari contoh input dalam bentuk formal seperti proposal yang akan diajukan. terbukti di atas, bersama dengan proposal itu.

Dan itu pekerjaan untuk mempersiapkan hanya satu contoh. Anda membutuhkan ribuan untuk melatih pengetahuan intuitif tentang aturan inferensi ke dalam jaringan yang dalam. (Saya memilih kata INTUITIF dengan sengaja karena alasan teoretis yang akan membutuhkan setidaknya seratus halaman untuk menjelaskan dengan baik.)

Ini bukan proyek kecil karena set data contoh harus memiliki setidaknya beberapa ribu kasus, dan setiap kasus, meskipun mungkin berbagi beberapa teori, harus dibentuk sehingga proposal terbentuk dengan sempurna dan tubuh teori yang diperlukan juga disajikan dalam bentuk sempurna di input untuk setiap iterasi pelatihan.

Dugaan saya adalah bahwa akan dibutuhkan tim peneliti yang cerdas dengan pemahaman yang tepat tentang jaringan yang dalam, konvergensi, dan predikat kalkulus sekitar sepuluh tahun untuk melatih jaringan untuk memberikan bukti yang layak dalam menanggapi proposal matematika sederhana.

Tapi Ini Bukan Pencapaian Kecil

Itu mungkin tampak usaha yang tidak masuk akal bagi sebagian orang, tetapi itu akan menjadi pertama kalinya seseorang mengajarkan komputer bagaimana menjadi logis. Dibutuhkan alam tepat di bawah umur bumi untuk mengajarkan kesimpulan logis terhadap suatu organisme, Socrates.

Orang beranggapan bahwa karena komputer terdiri dari sirkuit digital yang melakukan logika dengan desain maka komputer itu logis. Siapa pun yang telah berada di sekitar pengembangan perangkat lunak selama beberapa dekade dengan kecenderungan untuk berpikir lebih dalam daripada meretas untuk bersenang-senang atau uang tahu secara berbeda. Bahkan setelah pemrograman yang cermat, komputer tidak mensimulasikan inferensi logis dan tidak dapat memperbaiki perilaku terprogram mereka sendiri untuk bug apa pun. Faktanya, sebagian besar pengembangan perangkat lunak saat ini adalah perbaikan bug.

Mensimulasikan pemikiran logis akan menjadi langkah besar menuju simulasi kognisi dan beragam kemampuan manusia.

Referensi

Belajar Membuat Jaringan Syaraf Tiruan untuk Menjawab Pertanyaan Jacob Andreas, Marcus Rohrbach, Trevor Darrell, dan Dan Klein UC, Berkeley 2016 https://arxiv.org/pdf/1601.01705.pdf

Mempelajari banyak lapisan perwakilan Geoffrey E. Hinton Departemen Ilmu Komputer, Universitas Toronto 2007 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

Neural Turing Machine (tayangan slide) Penulis: Alex Graves, Greg Wayne, Ivo Danihelka Dipersembahkan Oleh: Tinghui Wang (Steve) https://eecs.wsu.edu/~cook/aiseminar/papers/steve.pdf

Mesin Neural Turing (kertas) Alex Graves, Greg Wayne, Ivo Danihelka https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

Penguatan Learning, Neural Turing Machines Wojciech Zaremba, kertas konferensi Ilya Sutskever ICLR https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

Mesin Dynamic Neural Turing dengan Skema Pengalamatan Berkelanjutan dan Terpisah Caglar Gulcehre1, Sarath Chandar1, Kyunghyun Cho2, Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

An Neural Fuzzy Pembuatan Diri Secara In-Line, Jaringan Inferensi, dan Aplikasinya Transaksi IEEE Chia-Feng Juang dan Chin-Teng Lin pada Sistem Fuzzy, v6, n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809/1 / 000072774800002.pdf

Gated Sequence Graph Neural Networks Yujia Li dan Richard Zemel makalah konferensi ICLR 2016 https://arxiv.org/pdf/1511.05493.pdf

Mesin Bangunan yang Belajar dan Berpikir Seperti Orang Brenden M. Lake, Tomer D. Ullman, Joshua B. Tenenbaum, dan Samuel J. Gershman Ilmu Perilaku dan Otak 2016 https://arxiv.org/pdf/1604.00289.pdf

Context-Dependent Deep Neural Networks Deep Recognition untuk Pengenalan Bicara Kosakata Besar George E. Dahl, Dong Yu, Li Deng, dan Transaksi IEEE Alex Acero pada Audio, Berbicara, dan Pemrosesan Bahasa 2012 https://s3.amazonaws.com/ academia.edu.documents / 34691735 / dbn4lvcsr-transaslp.pdf? AWSAccessKeyId = AKIAIWOWYYGZ2Y53UL3A & Kedaluwarsa = 1534211789 & Tanda tangan = 33QcFP0JGFeA% 2FTsqjQpengiriman% %Telepon terlalu tinggiTingkat%% _Tingkat papan pesan terlalu tinggiTingkat%% _TanggulTuntutan lebih tinggi _% _Tanggul berlebihanTuntutan% _Tanggal% _Tanggal% _Tingkat tinggi _ terlalu tinggiTingkat% _Tanggul terlalu banyak _% _Tanggul berlebihan _% _Tanggul terlalu tinggi _% _Tanggul terlalu tinggi _% _% Menempatkan terlalu tinggi _% Menempatkan lebih banyak% Terima% _Tanggal terlalu tinggi _% Menempatkan% _Telepon berlebihan _% _Tanggul terlalu banyak _% _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _.

Menanamkan Entitas dan Hubungan untuk Pembelajaran dan Inferensi dalam Pangkalan Pengetahuan Bishan Yang1, Wen-tau Yih2, Xiaodong He2, Jianfeng Gao2, dan makalah konferensi ICLR Li Deng2 2015 https://arxiv.org/pdf/1412.6575.pdf

Algoritma Pembelajaran Cepat untuk Jaring Pengaman Dalam Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh (dikomunikasikan oleh Yann Le Cun) Neural Computation 18 2006 http://axon.cs.byu.edu/Dan/778/papers/Deep % 20Jaringan / hinton1 * .pdf

FINN: Kerangka Kerja untuk Inferensi Jaringan Syaraf Biner Tercepat, Terukur, Terukur Yaman Umuroglu, dkk 2016 https://arxiv.org/pdf/1612.07119.pdf

Dari Machine Learning ke Machine Reasoning Léon Bottou 2/8/2011 https://arxiv.org/pdf/1102.1808.pdf

Pembelajaran mendalam Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 Nature vol 521 2015 https://www.evl.uic.edu/creativecoding/courses/cs523/slides/week3/DeepLearning_LeCun.pdf

Itu mungkin, tapi mungkin bukan ide yang bagus.

Bukti logis adalah salah satu bidang AI tertua, dan ada teknik yang dibangun khusus yang tidak perlu dilatih, dan yang lebih andal daripada pendekatan jaringan saraf, karena mereka tidak bergantung pada alasan statistik , dan sebagai gantinya gunakan teman ahli matematika: penalaran deduktif.

Bidang utama disebut " Pembuktian Teorema Otomatis ", dan itu sudah cukup tua sehingga sedikit dikalsifikasi sebagai area penelitian. Tidak banyak inovasi, tetapi beberapa orang masih mengerjakannya.

Gagasan dasarnya adalah bahwa pembuktian teorema hanyalah pencarian terpandu klasik atau heuristik: Anda mulai dari keadaan yang terdiri dari sekumpulan premis yang dapat diterima. Kemudian Anda menerapkan aturan inferensi logis yang valid untuk menghasilkan premis baru yang juga harus benar, memperluas seperangkat pengetahuan yang Anda miliki. Akhirnya, Anda dapat membuktikan premis yang diinginkan, baik melalui pencarian enumeratif seperti pencarian pertama yang luas atau pendalaman berulang , atau melalui sesuatu seperti A * dengan heuristik khusus domain. Banyak pemecah masalah juga menggunakan hanya satu aturan logis ( penyatuan ) karena itu lengkap, dan mengurangi faktor percabangan pencarian.