Pembelajaran Mesin vs Identifikasi Sistem?

Adakah yang bisa menjelaskan kepada saya perbedaan & persamaan antara pembelajaran mesin dan identifikasi sistem? Apakah ini hanya dua nama dari hal yang sama? Di halaman ini , mereka mengatakan:

Komunitas pembelajaran mesin dan identifikasi sistem dihadapkan pada masalah yang sama di mana kita perlu membuat model dari pengamatan yang terbatas atau berisik.

Saya juga telah membaca bab-bab awal buku Pengenalan Pola dan Pembelajaran Mesin yang terkenal oleh Christopher M. Bishop. Sejauh ini, kesimpulan saya adalah bahwa masalah yang coba dipecahkan oleh identifikasi sistem adalah bagian dari apa yang sedang dipelajari oleh pembelajaran mesin.

Identifikasi sistem adalah ilmu membangun model dinamis dari data yang diamati. Ada dua pendekatan utama: Prediction Error Identification (PEI) dan Subspace Identification (SID). Keduanya memberikan apa yang disebut model parametrik, yaitu model struktur tetap. Biasanya itu adalah kasus dimana pengguna memilih struktur sistem yang mendasarinya (terutama dalam metode PEI) atau setidaknya urutan sistem (dalam kedua metode). Meskipun tidak diperlukan, sistem urutan rendah dicari (yaitu, jumlah koefisien basis relatif kecil) karena sering digunakan untuk tujuan kontrol, jadi kami harus menjaganya sesederhana mungkin untuk menghindari masalah komputasi dll. Model ini dapat digunakan untuk membuat prediksi tentang perilaku masa depan sistem yang diberi beberapa input.

Di sisi lain, pembelajaran mesin (ML) memiliki dua cabang utama, klasifikasi dan algoritma regresi. Yang terakhir juga digunakan untuk tujuan prediksi. Dua pendekatan yang paling terkenal dalam pembelajaran mesin adalah Dukungan Mesin Vector (SVM) dan proses Gaussian (GP). Perbedaan utama dengan teknik identifikasi sistem adalah bahwa teknik ML memberikan model non-parametrik. Yang terakhir berarti bahwa prediksi untuk input baru diberikan sebagai fungsi dari titik data yang digunakan untuk "pelatihan" (pembelajaran, identifikasi) dari model. Oleh karena itu, jika kami menggunakan N = 1000 titik data untuk pelatihan, maka prediksi akan dinyatakan sebagai fungsi dari titik data ini. Metode ML lebih fleksibel karena mereka tidak memerlukan pemilihan struktur dari pengguna, tetapi mereka menghadapi keterbatasan lain (misalnya

Sampai saat ini ML dan teknik identifikasi sistem berkembang secara independen. Tetapi pada tahun-tahun terakhir ada upaya besar untuk membangun landasan bersama (misalnya, lihat makalah "Empat pertemuan dengan identifikasi sistem" dari Ljung)

Konteks: SysID dan kontrol cowok yang masuk ke ML.

Saya pikir jawaban user110686 melakukan pekerjaan yang adil untuk menjelaskan beberapa perbedaan. SysID tentu tentang model dinamis dari input / output data, sedangkan ML mencakup kelas masalah yang lebih luas. Tetapi perbedaan terbesar yang saya lihat adalah hubungannya dengan (a) memori (jumlah parameter); (B) akhir penggunaan model "belajar". Identifikasi Sistem adalah pendekatan pemrosesan sinyal yang mempertimbangkan representasi domain frekuensi, analisis frekuensi waktu, dll. Sebagian orang ML menyebut ini "rekayasa fitur".

(a) Memori:SysID menjadi menonjol jauh sebelum ML sebagai bidang penelitian terbentuk. Oleh karena itu statistik dan pemrosesan sinyal adalah dasar utama untuk dasar-dasar teoretis, dan perhitungannya sangat menakutkan. Oleh karena itu, orang bekerja dengan model kelas yang sangat sederhana (pengorbanan Bias-Variance) dengan sangat sedikit parameter. Kita berbicara paling banyak 30-40 parameter dan sebagian besar model linier bahkan untuk kasus-kasus di mana orang jelas tahu masalahnya adalah non-linear. Namun, sekarang perhitungannya sangat murah tetapi SysID belum keluar dari cangkangnya. Orang-orang harus mulai menyadari bahwa kita memiliki sensor yang jauh lebih baik sekarang, dapat dengan mudah memperkirakan 1000-an parameter dengan set model yang sangat kaya. Beberapa peneliti telah berusaha menggunakan jaringan saraf untuk SysID tetapi banyak yang tampaknya enggan untuk menerima ini sebagai "arus utama" karena tidak ada banyak jaminan teoritis.

(B) Akhir penggunaan model yang dipelajari: Sekarang ini adalah satu hal SysID menjadi sangat benar, tetapi banyak algoritma ML gagal menangkap. Penting untuk mengenali bahwa untuk aplikasi target, Anda harus membuat model yang dapat digunakan secara efektif untuk optimasi online.Model-model ini akan digunakan untuk menyebarkan keputusan kontrol yang dibuat, dan ketika mengatur ini sebagai masalah kontrol yang optimal, model menjadi kendala. Jadi ketika menggunakan struktur model yang sangat rumit, itu membuat optimasi online jauh lebih sulit. Perhatikan juga bahwa keputusan online ini dibuat dalam skala detik atau kurang. Alternatif yang diusulkan adalah untuk secara langsung mempelajari fungsi nilai secara off-kebijakan untuk kontrol yang optimal. Ini pada dasarnya adalah pembelajaran penguatan, dan saya pikir ada sinergi yang baik antara SysID dan RL.

Saya ingin menambahkan bahwa ada juga pendekatan non-parametrik untuk identifikasi sistem. Lihat MATLAB's SysId toolbox atau buku Ljung untuk detailnya. Pendekatan non-parametrik sering digunakan untuk pertama-tama mengidentifikasi kelas model untuk studi parametrik selanjutnya. Juga, penting untuk memisahkan masalah estimasi dari masalah kontrol (pikirkan loop OODA). Dalam mengidentifikasi suatu sistem, seringkali tujuannya hanya untuk mengkarakterisasi sistem tanpa input kontrol spesifik dari tipe yang akan dirancang nanti (tetapi ini tidak selalu memungkinkan). Akhirnya, saya pikir sangat membantu untuk menyadari bahwa suatu sistem dari sudut pandang matematika operator yang memetakan ruang fungsi ke ruang fungsi. Oleh karena itu persamaan diferensial sering kali merupakan jenis hal yang diidentifikasi dan fungsi peta ini berfungsi. Fungsi-fungsi dalam SysID seringkali merupakan fungsi waktu kontinu, alias sinyal waktu kontinu. (Tetapi mereka juga bisa berupa waktu diskrit.) Jadi, SysID tidak hanya berusaha memetakan bilangan real (atau vektor) menjadi bilangan real (atau vektor); ia berupaya mengidentifikasi operator terbaik (LTI, LTV, non-linear, dll.) yang memetakan sinyal input ke sinyal output.

Pembelajaran Mesin: pemodelan untuk model statis dan model dinamis, Identifikasi Sistem: fokus pada model dinamis atau proses dinamis