Sejauh mana "matematika lanjut" diperlukan / berguna dalam penelitian AI?


19

Saya sedang belajar matematika. Namun, saya tidak berpikir saya ingin menjadi ahli matematika profesional di masa depan. Saya berpikir untuk menerapkan pengetahuan matematika saya untuk melakukan penelitian dalam kecerdasan buatan. Namun, saya tidak yakin berapa banyak kursus matematika yang harus saya ikuti. (Dan kursus teori CS mana yang harus saya ikuti.)

Dari Quora, saya belajar bahwa mata pelajaran Aljabar Linier, Statistik dan Optimasi Cembung paling relevan untuk Pembelajaran Mesin (lihat pertanyaan ini ). Seseorang lain menyebutkan bahwa mempelajari Aljabar Linier, Probabilitas / Statistik, Kalkulus, Algoritma Dasar dan Logika diperlukan untuk mempelajari kecerdasan buatan (lihat pertanyaan ini ).

Saya bisa belajar tentang semua mata pelajaran ini selama 1,5 tahun pertama saya dari Sarjana matematika di universitas kami.

Saya bertanya-tanya, apakah ada beberapa mata pelajaran matematika tingkat sarjana bahkan sarjana yang berguna atau bahkan diperlukan untuk mempelajari kecerdasan buatan. Bagaimana dengan ODE, PDE, Topologi, Teori Ukur, Analisis Linier, Analisis Fourier dan Analisis Manifol?

Satu buku yang menunjukkan bahwa beberapa matematika yang cukup maju yang berguna dalam studi kecerdasan buatan adalah Teori Pola: Analisis Stokastik sinyal Dunia Nyata oleh David Mumford dan Agnes Desolneux (lihat halaman ini ). Ini termasuk bab tentang Rantai Markov, Model Piecewise Gaussian, Gibbs Fields, Manifold, Lie Groups dan Lie Algebras dan aplikasi mereka untuk teori pola. Sampai sejauh mana buku ini berguna dalam penelitian AI?


22
dalam 2+ tahun saya di situs ini saya telah melihat lebih dari setengah lusin pertanyaan jenis "matematika apa yang saya butuhkan untuk ...". Que menjawab yang bertuliskan seperti isi Princeton Companion to Mathematics. 1) AI adalah bidang besar, matematika yang digunakan di subbidangnya datang dalam semua rasa; 2) Ambil kursus matematika dasar Anda, pilih kursus yang lebih maju berdasarkan minat; 3) Lakukan penelitian dalam AI, temukan apa yang Anda suka, temukan matematika apa yang digunakan di sana; 4) Kita tidak dapat mengetahui apriori matematika apa yang akan berguna untuk masalah ini atau itu.
Sasho Nikolov

Jawaban:


57

Saya tidak ingin terdengar merendahkan, tetapi matematika yang Anda pelajari di tingkat sarjana dan bahkan pascasarjana tidak maju. Ini adalah dasar dasarnya . Judul pertanyaan Anda harus: Apakah matematika "dasar" diperlukan / berguna dalam penelitian AI? Jadi, melahap sebanyak yang Anda bisa, saya belum pernah bertemu dengan seorang ilmuwan komputer yang mengeluh karena tahu terlalu banyak matematika, meskipun saya bertemu banyak yang mengeluh tentang tidak cukup tahu tentang itu. Saya ingat membantu sesama mahasiswa pascasarjana di AI memahami algoritma gaya peringkat halaman. Bagiku itu hanya aljabar linier yang cukup mudah, tetapi dia menderita karena dia tidak punya perasaan tentang nilai eigen dan vektor eigen. Bayangkan hal-hal yang dapat dilakukan orang-orang AI jika mereka benar-benar tahu banyak matematika!

Saya mengajar di departemen matematika dan saya secara teratur mendapatkan permintaan dari rekan CS saya untuk merekomendasikan jurusan matematika untuk CS PhD karena mereka lebih suka siswa matematika. Anda tahu, matematika benar-benar, sangat sulit untuk dipelajari sendiri, tetapi sebagian besar aspek ilmu komputer tidak. Saya tahu, saya adalah jurusan matematika yang masuk ke sekolah pascasarjana CS. Tentu, saya "di belakang" pada pengetahuan sistem operasi (meskipun memiliki pengetahuan yang layak tentang Unix dan VMS), tapi saya jauh, jauh di depan "teori". Ini bukan situasi simetris.


6
teori ukuran dan teori probabilitas adalah dasar untuk semua penalaran probabilistik. topologi telah menjadi sangat penting untuk analisis data topologi. Analisis Fourier penting untuk teori belajar (digunakan untuk memahami sensitivitas fungsi dan betapa sulitnya mempelajarinya), dan pembelajaran berjenis membutuhkan pemahaman yang mendalam tentang berjenis geometri.
Suresh Venkat

2
@MaxMuller: Dan untuk melanjutkan daftar, teori grup dan aljabar (seperti Lie algebras) digunakan secara luas dalam pengenalan pola dalam teori dekomposisi gambar di mana topologi sangat dibutuhkan (dan ada hubungan yang dalam antara kebohongan aljabar dan manifold yang perlu Anda lakukan belajar sepanjang jalan). Buku-buku seperti "Fundamentals of Pattern Recognition" karya Monique Pavel bahkan akan memperkenalkan Anda pada teori kategori dan aplikasinya, yang juga sangat penting dalam AI untuk digunakan dalam fondasi bahasa formal dan teori bukti (yang bisa menjadi teori penalaran) ...
ex0du5

1
Melewati kursus tingkat intro, matematikawan belajar semua matematika mereka sendiri (atau dalam kelompok membaca dan seminar) .. tidak terlalu sulit jika Anda memiliki beberapa yayasan ... ok, itu bisa sulit, tapi itu bukan tidak mungkin.
Sasho Nikolov

1
Max, aku juga mengajar aikido. Saya tidak ingat ada siswa aikido yang bertanya "mengapa saya harus mempelajari dasar-dasarnya (bagaimana cara jatuh, bagaimana cara bergerak dari garis serangan)?" Terkadang Anda perlu sedikit percaya bahwa guru Anda tahu apa yang mereka lakukan. Namun saya akan menjadi yang pertama mengakui bahwa kami mengajar banyak omong kosong, terutama di sekolah menengah dan sekolah dasar di mana matematika diajarkan seolah-olah tujuannya adalah untuk menahan rasa ingin tahu pada siswa. Tetapi dalam kasus Anda, subjek yang Anda daftarkan, mereka bukan omong kosong. Percayalah kepadaku.
Andrej Bauer

13
Dan hanya satu komentar lagi. Jika Anda hanya belajar matematika yang telah terbukti bermanfaat di beberapa area CS, Anda tidak akan pernah memiliki kesempatan untuk menerapkan matematika baru. Anda akan selalu berada di belakang. Ilmu pengetahuan adalah seni, bukan pekerjaan 9 hingga 5. Jika Anda bertanya kepada saya "haruskah saya belajar fisika, saya ingin masuk ke AI" Saya akan mengatakan "benar-benar begitu!" Dan jika Anda bertanya "haruskah saya belajar sosiologi, saya ingin masuk ke AI" jawaban saya akan tetap sama.
Andrej Bauer

6

Max, ini daftar parsial:

Aljabar linier dasar dan probabilitas diperlukan di semua tempat. Saya kira Anda tidak perlu referensi untuk itu.

Setahu saya, analisis Fourier telah digunakan dalam beberapa penyelidikan terkait teori belajar. Periksa makalah ini , misalnya.

Konsep bermacam-macam pembelajaran semakin populer, dan Anda dapat mulai melihat karya-karya Mikhail Belkin dan Partha Niyogi. Garis kerja ini membutuhkan pemahaman tentang berbagai konsep yang terkait dengan manifold dan geometri riemannian.

Ada aspek lain dari pembelajaran mesin, yang berakar lebih dalam ke statistik, yaitu, geometri informasi. Wilayah ini terkait dengan berbagai konsep geometri Riemannian, teori informasi, informasi Fisher, dll. Sepupu dari jenis penelitian ini dapat ditemukan dalam statistik Aljabar - yang merupakan bidang yang baru lahir dengan banyak potensi.

Sumio Watanabe, menyelidiki perbatasan yang berbeda, yaitu, keberadaan singularitas dalam model pembelajaran dan bagaimana menerapkan hasil resolusi yang dalam dari geometri aljabar untuk menjawab banyak pertanyaan. Hasil Watanabe mendapat banyak manfaat dari karya terkenal Heisuke Hironaka yang memenangkannya medali Fields.

Saya kira saya menghilangkan banyak area lain yang membutuhkan matematika yang relatif berat. Tetapi seperti yang ditunjukkan oleh Andrej, kebanyakan dari mereka mungkin tidak terletak di garis depan matematika, tetapi domain yang relatif lebih tua dan mapan.

Bagaimanapun, saya kira keadaan AI saat ini yang telah memasuki komputasi arus utama - seperti dalam sistem rekomendasi di Amazon, atau perpustakaan pembelajaran mesin yang ditemukan di Apache Mahout, tidak memerlukan matematika tingkat lanjut. Saya mungkin salah.


2

Tergantung pada definisi Anda tentang tingkat lanjut, dan jenis AI apa yang ingin Anda pelajari.

Banyak masalah dalam AI terbukti tidak dapat dipecahkan - solusi optimal untuk POMDP terbukti NP-Lengkap, solusi optimal untuk DEC-POMDP terbukti NEXP-Lengkap, dll. Jadi, jika tidak ada terobosan tak terduga dalam teori kompleksitas, semakin banyak yang tahu tentang algoritma aproksimasi dan dasar-dasar teoretis mereka, semakin baik. (Selain teori ukuran, dll, diperlukan untuk benar-benar memahami probabilitas Bayes yang mendasari model POMDP.)

Kecerdasan buatan multi-agen, khususnya, bersinggungan dengan teori permainan; jadi mengetahui teori permainan sangat membantu yang pada gilirannya tergantung pada topologi, teori ukuran, dll. Dan juga, banyak masalah dalam teori permainan tidak bisa diatasi. Beberapa bahkan sulit dilakukan di bawah perkiraan dan bahkan pemahaman ketika mungkin untuk menggunakan perkiraan mengambil banyak matematika untuk bekerja.

(Saya perhatikan bahwa ahli teori permainan telah menjalankan cukup bagus di bidang Ekonomi Nobel, selama beberapa tahun terakhir, dan itu sifatnya sangat matematis. Saya memprediksi dalam dua puluh tahun yang aneh, para ahli teori permainan algoritmik saat ini akan berada dalam kondisi yang hampir sama posisi.)


1

Matematika yang terlibat dalam AI tidak maju, dan diajarkan di tingkat sarjana. Pelatihan AI dan algoritma inferensiasi berada dalam domain Ilmu Komputer tingkat lanjut.

Ini sedikit permainan kata. Beberapa riwayat juga harus dimasukkan ketika meneliti AI.

Sebagai contoh, dalam nomenklatur saat ini, Deep Learning tampaknya menjadi kata kunci yang sedang tren di AI.

Deep Learning adalah apa yang dulu disebut sebagai Jaringan Syaraf Tiruan (JST) seperti model jaringan perceptron backpropagating Hinton (BACKPROP), dan sejenisnya.

Matematika yang terlibat dengan BACKPROP ANN (misalnya) pada dasarnya adalah kalkulus turunan untuk pelatihan, dan aljabar matriks untuk menyimpulkan.

Aspek baru dari Deep Learning adalah pemisahan fisik dari pelatihan dan algoritma penyimpulan. CPU masih digunakan untuk pelatihan, tetapi sekarang GPU digunakan untuk menyimpulkan.

Misalnya, matriks JST dilatih (dibobot) dengan kesalahan backpropagating menggunakan kalkulus derivatif korektif. Ini paling cocok untuk CPU, dan hanya harus dilakukan sekali per penyebaran JST.

JST kemudian digunakan dalam arsitektur GPU yang sangat paralel. Matematika inferensia maju melibatkan aljabar matriks intensif, yang dirancang untuk GPU.

Ini meningkatkan kinerja JST yang dikerahkan oleh beberapa urutan besarnya dibandingkan dengan penyebaran berbasis CPU sebelumnya, dan dapat ditingkatkan secara lebih efisien di sejumlah GPU khusus.

Perusahaan seperti Nvidia dan AMD sekarang memasarkan chipset GPU kelas atas sebagai Deep Learning Machines. Istilah GPU selalu sedikit keliru, karena mereka benar-benar tujuan umum Prosesor Paralel. Sebagai contoh, GPU juga kadang-kadang disebut sebagai Bitminers dalam aplikasi blockchain.

Jadi apa yang dulu sekarang baru. Matematika yang terlibat tidak berubah, hanya terminologi Ilmu Komputer (sebagian besar karena tekanan pemasaran).

Istilah AI selalu dianggap sedikit kuda hitam. Deep Learning sekarang adalah istilah yang benar secara politis, ramah pasar.


2
Sebuah jawaban sebelumnya telah memberikan tandingan untuk klaim Anda dalam kalimat pertama. (Ada banyak lainnya juga.) Apakah Anda membaca jawaban sebelumnya sebelum memposting? Anda mungkin ingin mengedit jawaban ini untuk mempersempit klaim Anda.
DW

2
Klaim Anda bahwa "CPU masih digunakan untuk pelatihan [jaringan dalam], tetapi sekarang GPU digunakan untuk menyimpulkan" agak menyesatkan (jika tidak salah). Semua orang melatih jaringan saraf modern dengan GPU. Kebanyakan orang menyebarkannya di GPU juga, tetapi beberapa lingkungan penyebaran (misalnya beberapa ponsel) masih menggunakan CPU.
Mike Izbicki

Saya setuju dengan Mike. "GPU digunakan untuk pelatihan dan CPU untuk menyimpulkan" kurang salah daripada mengatakan bahwa "CPU digunakan untuk pelatihan dan GPU untuk menyimpulkan"
ASDF

Arsitektur @MikeIzbicki Pipeline seperti CUDA, OpenCL, dll diperlukan untuk pelatihan Deep Learning, yang sangat bergantung pada inti CPU untuk koreksi kesalahan. Pipa kesimpulan hanya membutuhkan inti CPU untuk memberi makan dan memanen inti GPU. Daya dan efisiensi termal adalah tujuannya, itulah sebabnya keseimbangan antara tipe inti bergeser antara pelatihan dan inferencing. Itulah yang sudah saya katakan.
Birkensocks

-1

AI adalah bidang yang luar biasa luas dengan berbagai rute yang memungkinkan. Beberapa sangat matematis, beberapa hampir tidak menyentuh matematika. Yang lain sudah memberikan jawaban yang baik untuk pendekatan yang lebih matematis. Dari mata pelajaran yang Anda tunjukkan-

"Aljabar Linier, Probabilitas / Statistik, Kalkulus, Algoritma dan Logika Dasar"

-Anda pada dasarnya membutuhkan atau akan mendapat manfaat dari semuanya. Banyak pendekatan yang setidaknya sebagian langsung didasarkan pada probabilitas dan statistik - heuristik, jaringan saraf, algoritma genetika, logika fuzzy. Kalkulus sama bermanfaatnya - dalam AI atau dalam ilmu komputasi umum Anda akan menemukannya hampir di mana-mana. Aljabar linier adalah sesuatu yang pasti Anda butuhkan juga.

Dua mata pelajaran yang paling penting dari perspektif CS / AI adalah algoritma dan logika, algoritma adalah jantung sesungguhnya dari ilmu komputasi, dan logika adalah 'bahasa' algoritma yang mendasarinya. Kunci untuk mempelajari algoritma adalah mempelajari cara memprogram, kemahiran dan berlatih di pemrograman dasar adalah salah satu fondasi paling penting dari hampir semua mata pelajaran ilmu komputer atau AI. Pemrograman juga merupakan keterampilan bahwa universitas tidak selalu pandai mengajar. Logika juga sangat penting bagi sebagian besar cabang AI; Logika Boolean, predikat kalkulus, logika simbolik, teori permutasi yang mendasari, hierarki desain, rekursi, mesin negara terbatas, Mesin Turing, desain CPU, dll. Di sini kita benar-benar meninggalkan matematika ke dalam ilmu komputasi yang tepat.

Memperluas bidang saya sendiri 'AI Kuat' matematika memainkan peran yang mendasar tetapi benar-benar penting. Pemahaman yang sangat baik tentang matematika dasar mungkin lebih penting daripada matematika yang lebih tinggi, tetapi apa pun yang Anda ambil dapat bermanfaat. Masalah sebenarnya dalam bidang yang baru lahir seperti AI Kuat adalah bahwa semuanya ada di udara sehingga medan dalam fluks total.
Subjek yang berpotensi bermanfaat termasuk - jaringan saraf, algoritma genetika, neurologi, genetika, psikologi, cybernetics dan robotika, teori grafis 3D, teori pemrosesan gambar, desain game komputer, filsafat, teori seni, elektronik digital, teori linguistik .. Dalam bidang seperti membaca ini adalah salah satu cara terpenting untuk belajar. Beberapa buku yang menjadi titik awal bagi saya adalah - The Emperors New Mind oleh Roger Penrose, Eye and Brain oleh RL Gregory, tetapi wawasan yang sesungguhnya dapat datang dari hampir di mana saja

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.