Apakah para ahli berbahaya?

Saya membaca "Peran Catur dalam Penelitian Kecerdasan Buatan" ( pdf ) dan yang menarik, ia mengatakan:

Pengalaman [...] menunjukkan bahwa input dari para pakar catur, meskipun secara umum bermanfaat, tidak dapat dipercaya sepenuhnya.

Contoh yang baik dari ini adalah fungsi evaluasi Pemikiran Dalam. Beberapa perubahan oleh ahli catur manusia yang cakap gagal menghasilkan perbaikan yang signifikan dan kadang-kadang bahkan memengaruhi kinerja mesin secara negatif.

Di sini, para ahli manusia, bersama dengan keahlian mereka, memperkenalkan prasangka mereka sendiri ke dalam program. Salah satu cara untuk memecahkan masalah ini adalah dengan membatasi jenis dan jumlah input ahli yang diizinkan ke dalam program; di lain memiliki mesin hampir "bebas pengetahuan".

• Seberapa benar itu dalam penelitian dan praktik modern?
• Apakah itu masalah besar, atau hanya sesuatu yang spesifik untuk permainan catur?

Saya pikir ini lebih lanjut tentang Pemecahan Masalah Teknik. Sebagian besar proyek-proyek teknik yang berhasil tidak menduplikasi alasan ahli atau atau persis sifat ahli. Mereka memecahkan masalah dengan cara yang berbeda.

Misalnya mesin cuci menggunakan teknik yang berbeda dari manusia, pesawat terbang menggunakan dinamika yang berbeda dari burung.

Jika Anda menduplikasi Penalaran Pakar, masukan mereka adalah segalanya . Tetapi jika Anda memecahkan masalah yang sama menggunakan teknik yang berbeda (pencarian cepat, memori besar ...), input mereka hanya membantu .

Masalah seperti itu biasa terjadi di berbagai bidang yang membutuhkan penilaian.

Bab tentang " Perkiraan Penghakiman dan Penyesuaian " dalam Makridakis, Wheelwright dan Hyndman Forecasting: Metode dan aplikasi memiliki cerita yang mirip tentang penilaian ahli di bawah kinerja kadang-kadang bahkan sistem yang sangat sederhana.

Ada sebuah makalah (Dawes et al (1989) "Clinical vs Actuarial Judgment" Science , Vol 243, No 4899, p1668-74) tentang kegagalan penilaian ahli di bidang medis terhadap apa yang disebut metode 'aktuaria' - pada dasarnya cukup sederhana model statistik.

Di sisi lain ada kertas dalam literatur aktuaria tentang 'noisiness' dan inkonsistensi dari penilaian ahli dalam masalah tertentu di bahwa daerah di mana penilaian ahli sering dianggap oleh para praktisi sebagai sangat penting.

Makridakis et al membahas kegagalan penilaian ahli di banyak bidang, karena berkaitan dengan peramalan, dan berisi sedikit nasihat berharga.

Demikian seterusnya. Bias kognitif berlimpah dan ahli manusia menderita dari mereka bersama dengan orang lain.

Pertanyaan apakah ahli berbahaya atau tidak tentu bukan masalah terbatas pada permainan catur.

Sebuah pertanyaan menarik dalam literatur tentang desain optimal Komite Kebijakan Moneter (MPC) adalah apakah komite harus melibatkan ahli luar yang bukan karyawan penuh waktu dari bank sentral.

Untuk menempatkan ini dalam perspektif, pertimbangkan MPC Bank of England terlebih dahulu. Ini terdiri dari lima anggota eksekutif internal bank dan empat ahli luar. Di sisi lain, Federal Reserve Bank mempekerjakan komite yang hanya terdiri dari karyawan bank.

Anggota ahli dari luar dimasukkan dalam MPC Bank of England karena mereka diyakini membawa keahlian dan informasi tambahan yang diperoleh di dalam Bank of England.

Jadi, desain MPC mana yang lebih baik? Pakar dalam, atau ahli di luar?

Nah, bidang penelitian ini masih aktif dan telah diselidiki baru-baru ini oleh Hansen & McMahon (2010) . Saya sarankan berkonsultasi dengan referensi yang disebutkan dalam makalah ini untuk membaca lebih lanjut tentang masalah ini "komite ahli".

Apakah ini masalah besar (penting)? Mempertimbangkan dampak dari keputusan MPC terhadap perekonomian, saya akan mengatakan ini adalah masalah yang cukup penting!

Terakhir, saya harus menyebutkan bahwa keputusan kebijakan moneter dapat, secara teori, didelegasikan ke komputer. Misalnya, komputer dapat diprogram untuk menerapkan, katakanlah, aturan kebijakan moneter sederhana ; misalnya, salah satu komitmen. Ini akan menghapus input pakar setelah aturan kebijakan moneter diprogram ke dalam komputer. Penggunaan komputer dalam kebijakan moneter disebutkan dalam Svensson (1999) .

Referensi : Stephen Eliot Hansen & Michael McMahon, 2010. "Apa yang dibawa oleh para pakar luar ke sebuah komite? Bukti dari Bank of England," Makalah Kerja Ekonomi 1238, Departemen Ekonomi dan Bisnis, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "Bagaimana seharusnya kebijakan moneter dilakukan di era stabilitas harga ?," Prosiding, Federal Reserve Bank of Kansas City, halaman 195-259.

Saya pikir kuncinya adalah konsistensi. Pakar tidak hanya memiliki pengetahuan tertentu, tetapi suatu sistem di mana pengetahuan itu beroperasi. Mereka memiliki kepribadian, strategi keseluruhan, di mana taktik mereka berada dan berkembang.

Dalam beberapa hal, program komputer bermain catur adalah Monster Frankenstein yang dibuat dari gabungan berbagai badan (programmer, pakar, dll.). Jadi tidak mengherankan bahwa saran seorang ahli tidak cocok dengan sistem yang ada.

Saya setuju dengan komentar lain bahwa para ahli mungkin tidak tahu bagaimana mereka melakukan apa yang mereka lakukan. Dalam hal ini, sebagai manusia, pikiran sadar mereka membuat cerita yang masuk akal mengapa mereka mencapai keputusan tertentu. Tetapi saya masih berpikir bahwa saran ahli untuk tim pemrograman selalu di luar konteks (yaitu tidak konsisten dengan konteks desain dan sejarah program).

EDIT: Mungkin ada Bias Penguatan di sini. Saya tidak dapat menemukan tautan yang bagus untuk menjelaskan Bias Penguatan, tetapi cara saya memahami istilah itu adalah efek yang Anda dapatkan ketika Anda memperbarui (mereparasi) model yang diawasi menggunakan hasil model sebelumnya - biasanya secara tidak langsung - sebagai target. Ini mirip dengan bias Konfirmasi, tetapi melibatkan tingkat tipuan. Pakar manusia akan memiliki Bias Penguatan mereka, yang dapat mempengaruhi hal-hal.