Apa perbedaan antara pencarian dan pembelajaran?

Saya menemukan sebuah artikel, The Bitter Truth , melalui Saluran YouTube Two Minute Papers . Rich Sutton berkata ...

Satu hal yang harus dipelajari dari pelajaran pahit adalah kekuatan besar metode tujuan umum, metode yang terus meningkat dengan perhitungan yang semakin meningkat bahkan ketika perhitungan yang tersedia menjadi sangat hebat. Dua metode yang tampaknya skala sewenang-wenang dengan cara ini adalah pencarian dan pembelajaran .

Apa perbedaan antara pencarian dan pembelajaran di sini? Pemahaman saya adalah bahwa belajar adalah suatu bentuk pencarian - di mana kita secara iteratif mencari beberapa representasi data yang meminimalkan fungsi kehilangan dalam konteks pembelajaran yang mendalam.

Dalam konteks AI:

1. Pencarian mengacu pada Simon & Newell's General Problem Solver , dan banyak (banyak) algoritma turunannya. Algoritma ini berbentuk:

   Sebuah. Mewakili keadaan saat ini dari beberapa bagian dunia sebagai simpul dalam grafik.

   b. Mewakili, terhubung ke kondisi saat ini secara bertahap, semua negara di dunia yang dapat dijangkau dari kondisi saat ini dengan mengubah dunia dengan satu tindakan, dan mewakili semua negara berikutnya dengan cara yang sama.

   c. Secara algoritmik menemukan urutan tindakan yang mengarah dari kondisi saat ini ke beberapa kondisi tujuan yang lebih diinginkan, dengan berjalan di sekitar grafik ini.

Contoh aplikasi yang menggunakan pencarian adalah Google Maps. Lainnya adalah Google Flights.

2. Belajar mengacu pada algoritma apa pun yang memurnikan kepercayaan tentang dunia melalui paparan pengalaman atau contoh pengalaman orang lain. Algoritma pembelajaran tidak memiliki induk yang jelas, karena mereka dikembangkan secara terpisah di banyak subbidang atau disiplin ilmu yang berbeda. Taksonomi yang masuk akal adalah model 5 suku . Beberapa algoritma pembelajaran benar-benar menggunakan pencarian di dalam diri mereka sendiri untuk mengetahui cara mengubah keyakinan mereka sebagai respons terhadap pengalaman baru!

   Contoh dari algoritma pembelajaran yang digunakan saat ini adalah Q-learning , yang merupakan bagian dari keluarga yang lebih umum dari algoritma pembelajaran penguatan . Q-learning bekerja seperti ini:

   Sebuah. Program pembelajaran (biasanya disebut agen ) diberikan representasi dari keadaan dunia saat ini, dan daftar tindakan yang bisa dipilih untuk dilakukan.

   b. Jika agen belum pernah melihat keadaan dunia ini sebelumnya, agen tersebut memberikan nomor acak pada hadiah yang diharapkannya untuk melakukan setiap tindakan. Ini menyimpan nomor ini sebagai$Q(s,a)$, tebakannya pada kualitas tindakan yang dilakukan $a$ dalam keadaan $s$.

   c. Agen itu memandang$Q(s,a)$untuk setiap tindakan yang bisa dilakukan. Ini mengambil tindakan terbaik dengan beberapa kemungkinan$\epsilon$ dan jika tidak bertindak secara acak.

   d. Tindakan agen menyebabkan dunia berubah dan dapat menyebabkan agen menerima hadiah dari lingkungan. Agen membuat catatan apakah ia mendapat hadiah (dan berapa banyak hadiah itu), dan seperti apa keadaan dunia yang baru. Kemudian menyesuaikan keyakinannya tentang kualitas melakukan tindakan yang dilakukan di negara itu dulu, sehingga keyakinannya tentang kualitas tindakan itu lebih dekat dengan realitas hadiah yang didapatnya, dan kualitas di mana ia melakukannya. berakhir.

   e. Agen mengulangi langkah-langkah dan selamanya. Seiring waktu, kepercayaannya tentang kualitas berbagai negara / tindakan pasangan akan bertemu untuk mencocokkan kenyataan lebih dan lebih dekat.

Contoh aplikasi yang menggunakan pembelajaran adalah rekomendasi AI.SEs, yang dibuat oleh program yang kemungkinan menganalisis hubungan antara kombinasi kata yang berbeda dalam pasang posting, dan kemungkinan seseorang akan mengkliknya. Setiap kali seseorang mengkliknya, ia mempelajari sesuatu tentang apakah mendaftarkan kiriman sebagai terkait adalah ide yang baik atau tidak. Umpan Facebook adalah contoh sehari-hari lainnya.

Salah satu cara untuk memikirkan perbedaan antara pencarian dan pembelajaran adalah bahwa pencarian biasanya memerlukan kunci pencarian, dan algoritma mencari struktur untuk mencari kecocokan antara kunci dan item yang sudah ada. Padahal belajar adalah penciptaan struktur di tempat pertama. Tetapi pencarian dan pembelajaran terkait dengan penerimaan input (katakanlah dari satu atau lebih sensor) struktur awalnya dicari untuk melihat apakah input sudah ada, tetapi jika tidak maka input saat ini (ketika kondisi tertentu terpenuhi) ditambahkan ke struktur, dan pembelajaran mengikuti kegagalan pencarian.