Keadaan seni secara umum belajar dari data di '69

Saya mencoba memahami konteks buku Minsky dan Papert yang terkenal "Perceptrons" dari tahun 1969, sangat penting untuk jaringan saraf.

Sejauh yang saya tahu, belum ada algoritma pembelajaran terawasi generik lainnya kecuali untuk perceptron: pohon keputusan mulai menjadi benar-benar berguna hanya pada akhir 70-an, hutan acak dan SVM adalah 90-an. Tampaknya metode jackknife sudah diketahui, tetapi bukan validasi k-cross (70-an) atau bootstrap (1979?).

Wikipedia mengatakan kerangka kerja statistik klasik Neyman-Pearson dan Fisher masih berselisih di tahun 50-an, meskipun upaya pertama untuk menggambarkan teori hibrida sudah di tahun 40-an.

Oleh karena itu pertanyaan saya: apa saja metode canggih untuk memecahkan masalah umum dalam memprediksi dari data?

Saya ingin tahu tentang ini, jadi saya melakukan penggalian. Saya terkejut menemukan bahwa versi yang dapat dikenali dari banyak algoritma klasifikasi umum sudah tersedia pada tahun 1969 atau sekitar itu. Tautan dan kutipan diberikan di bawah ini.

Perlu dicatat bahwa penelitian AI tidak selalu terfokus pada klasifikasi. Ada banyak minat dalam perencanaan dan penalaran simbolis, yang tidak lagi populer, dan data berlabel jauh lebih sulit ditemukan. Tidak semua artikel ini mungkin tersedia secara luas, misalnya: misalnya, karya proto-SVM sebagian besar diterbitkan dalam bahasa Rusia. Dengan demikian, ini mungkin terlalu banyak memperkirakan berapa banyak ilmuwan rata-rata tahu tentang klasifikasi pada tahun 1969.

Analisis Diskriminan

Dalam sebuah artikel tahun 1936 dalam Annals of Eugenics , Fisher menggambarkan sebuah prosedur untuk menemukan fungsi linear yang membedakan antara tiga spesies bunga iris, berdasarkan dimensi kelopak dan sepal mereka. Makalah itu menyebutkan bahwa Fisher telah menerapkan teknik serupa untuk memprediksi jenis kelamin mandibula manusia (tulang rahang) yang digali di Mesir, bekerja sama dengan E. S Martin dan Karl Pearson ( jstor ), serta dalam proyek pengukuran tengkorak yang terpisah. dengan Miss Mildred Barnard (yang tidak bisa saya lacak).

Regresi logistik

Fungsi logistik itu sendiri sudah dikenal sejak abad ke-19, tetapi sebagian besar sebagai model untuk proses jenuh, seperti pertumbuhan populasi atau reaksi biokimia. Tautan tim ke artikel JS Cramer di atas, yang merupakan sejarah yang bagus di masa-masa awalnya. Namun, pada 1969, Cox telah menerbitkan edisi pertama Analisis Data Biner . Saya tidak dapat menemukan yang asli, tetapi edisi berikutnya berisi seluruh bab tentang menggunakan regresi logistik untuk melakukan klasifikasi. Sebagai contoh:

$y=0,1$$x'$$y$$y$

$k$

$k$$k$

Jaringan saraf

Rosenblatt menerbitkan laporan teknis yang menggambarkan perceptron pada tahun 1957 dan menindaklanjutinya dengan sebuah buku , Principles of Neurodynamics pada tahun 1962. Versi backpropagation telah ada sejak awal 1960-an, termasuk karya Kelley , Bryson, dan Bryson & Ho (direvisi pada 1975, tetapi yang asli adalah dari tahun 1969. Namun, itu tidak berlaku untuk jaringan saraf sampai beberapa saat kemudian, dan metode untuk melatih jaringan yang sangat dalam jauh lebih baru. Artikel scholarpedia tentang belajar dalam ini memiliki lebih banyak informasi.

Metode Statistik

Saya menduga menggunakan Aturan Bayes untuk klasifikasi telah ditemukan dan ditemukan kembali berkali-kali - itu adalah konsekuensi yang wajar dari aturan itu sendiri. Teori deteksi sinyal mengembangkan kerangka kerja kuantitatif untuk memutuskan apakah input yang diberikan adalah "sinyal" atau noise. Beberapa di antaranya keluar dari penelitian radar setelah Perang Dunia II, tetapi dengan cepat diadaptasi untuk eksperimen persepsi (misalnya, oleh Green and Swets ). Saya tidak tahu siapa yang menemukan bahwa mengasumsikan independensi di antara para prediktor bekerja dengan baik, tetapi kerja dari awal tahun 1970-an tampaknya telah mengeksploitasi ide ini, sebagaimana dirangkum dalam artikel ini . Kebetulan, artikel itu juga menunjukkan bahwa Naif Bayes pernah disebut "idiot Bayes"!

Mendukung Mesin Vektor

Pada tahun 1962, Vapnik dan Chervonenkis menggambarkan "Generalized Portrait Algorithm" ( pemindaian yang mengerikan, maaf ), yang terlihat seperti kasus khusus mesin vektor pendukung (atau sebenarnya, SVM satu kelas). Chervonenkis menulis sebuah artikel berjudul "Sejarah Awal Mesin Vektor Pendukung" yang menjelaskan hal ini dan pekerjaan tindak lanjut mereka secara lebih rinci. Trik kernel (kernel sebagai produk dalam) dijelaskan oleh Aizerman, Braverman dan Rozonoer pada tahun 1964. svms.org memiliki sedikit lebih banyak tentang sejarah mesin vektor dukungan di sini .

PENOLAKAN : Jawaban ini tidak lengkap, tetapi saya tidak punya waktu untuk membuatnya saat ini. Saya berharap bisa mengerjakannya akhir minggu ini.

Pertanyaan:
apa saja metode penyelesaian masalah genera yang diprediksi dari data sekitar tahun 1969?

Catatan: ini tidak akan mengulangi jawaban yang bagus dengan 'Matt Krause'.

"Keadaan Seni" berarti "terbaik dan paling modern" tetapi tidak harus direduksi menjadi norma industri. Sebaliknya, hukum Paten AS mencari "tidak jelas" sebagaimana didefinisikan oleh "keterampilan biasa dalam bidang ini". "Keadaan seni" untuk 1969 kemungkinan akan dipatenkan selama dekade berikutnya.

Sangat mungkin bahwa pendekatan "terbaik dan tercerdas" tahun 1969 digunakan atau dievaluasi untuk digunakan dalam ECHELON (1) (2) . Ini juga akan ditampilkan dalam evaluasi negara adidaya lainnya yang cukup matematis pada zaman itu, USSR. (3) Saya membutuhkan beberapa tahun untuk membuat satelit, dan orang juga akan berharap bahwa teknologi atau konten untuk ~ 5 tahun ke depan komunikasi, telemetri, atau satelit pengintaian untuk menunjukkan keadaan seni tahun 1969. Salah satu contohnya adalah satelit cuaca Meteor-2 dimulai pada tahun 1967 dan dengan desain awal diselesaikan pada tahun 1971. (4) Rekayasa payload spektrometri dan aktinometrik diinformasikan oleh kemampuan pemrosesan data saat itu, dan oleh penanganan data yang "hampir akan datang" pada waktu itu. Pemrosesan data semacam ini adalah tempat untuk mencari praktik terbaik dari periode tersebut.

Pembacaan "Jurnal Teori dan Aplikasi Optimasi" telah beroperasi selama beberapa tahun dan isinya dapat diakses. (5) Pertimbangkan ini (6) evaluasi estimator optimal, dan ini untuk estimator rekursif. (7)

Proyek SETI, dimulai pada tahun 1970-an, kemungkinan menggunakan teknologi anggaran rendah dan teknik yang lebih tua agar sesuai dengan teknologi saat itu. Eksplorasi teknik SETI awal juga dapat berbicara dengan apa yang dianggap memimpin sekitar tahun 1969. Salah satu kandidat kemungkinan adalah pendahulu untuk " koper SETI ". "SETI koper" menggunakan DSP untuk membangun penerima autokorelasi dalam ~ 130k saluran pita sempit. Orang-orang SETI secara khusus ingin melakukan analisis spektrum. Pendekatan ini pertama kali digunakan secara offline untuk memproses data Aricebo. Itu kemudian menghubungkannya ke teleskop radio Aricebo pada tahun 1978 untuk data langsung dan hasilnya diterbitkan pada tahun yang sama . Suitecase-SETI yang sebenarnya selesai pada tahun 1982. Di sini (tautan) adalah diagram blok yang menunjukkan proses.

Pendekatannya adalah menggunakan transformasi Fourier panjang-off-line (~ 64 ribu sampel) untuk mencari segmen bandwidth termasuk menangani kicauan, dan kompensasi real-time untuk pergeseran Doppler. Pendekatannya "tidak baru" dan referensi diberikan termasuk: Lihat, misalnya,

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

Alat yang digunakan untuk prediksi keadaan berikutnya mengingat keadaan sebelumnya yang populer saat itu meliputi:

• Filter Kalman (dan turunannya) (Weiner, Bucy, nonlinear ...)
• Metode deret waktu (dan derivatif)
• Metode domain frekuensi (Fourier) termasuk pemfilteran, dan amplifikasi

"Kata kunci" umum (atau kata-kata buzz) termasuk "adjoint, variational, gradient, optimal, second order, dan conjugate".

Premis filter Kalman adalah pencampuran optimal data dunia nyata dengan model analitik dan prediktif. Mereka digunakan untuk membuat hal-hal seperti rudal mengenai target yang bergerak.