Apa pembelajaran mandiri dalam pembelajaran mesin?

Apa pembelajaran mandiri dalam pembelajaran mesin? Apa bedanya dengan belajar dengan pengawasan?

Pembelajaran dengan pengawasan sendiri (atau pengawasan diri) adalah teknik pembelajaran yang relatif baru (dalam pembelajaran mesin) di mana data pelatihan diberi label secara otonom (atau secara otomatis). Ini masih merupakan pembelajaran yang diawasi, tetapi dataset tidak perlu secara manual dilabel oleh manusia, tetapi mereka dapat misalnya diberi label dengan menemukan dan mengeksploitasi hubungan (atau korelasi) antara sinyal input yang berbeda (yaitu, input yang berasal dari modalitas sensor yang berbeda ).

Keuntungan alami dan konsekuensi dari pembelajaran yang diawasi sendiri adalah bahwa hal itu dapat lebih mudah (sehubungan dengan misalnya pembelajaran yang diawasi) dilakukan secara online (mengingat bahwa data dapat dikumpulkan dan diberi label tanpa campur tangan manusia), di mana model dapat diperbarui atau dilatih sepenuhnya dari awal. Oleh karena itu, pembelajaran yang diawasi sendiri juga harus cocok untuk perubahan lingkungan, data dan, secara umum, situasi.

Sebagai contoh, perhatikan robot yang dilengkapi dengan sensor proximity (yang merupakan sensor jarak pendek yang mampu mendeteksi objek di depan robot pada jarak pendek) dan kamera (yang merupakan sensor jarak jauh , tetapi yang tidak memberikan cara langsung mendeteksi objek). Anda juga dapat mengasumsikan bahwa robot ini mampu melakukan odometri . Contoh dari robot semacam itu adalah Mighty Thymio .

Pertimbangkan sekarang tugas mendeteksi objek di depan robot pada rentang yang lebih panjang daripada rentang yang dimungkinkan oleh sensor jarak. Secara umum, kami bisa melatih CNN untuk mencapai itu. Namun, untuk melatih CNN seperti itu, dalam pembelajaran yang diawasi, pertama-tama kita membutuhkan dataset berlabel, yang berisi gambar berlabel (atau video), di mana label tersebut dapat berupa "objek dalam gambar" atau "tidak ada objek dalam gambar". Dalam pembelajaran yang diawasi, set data ini perlu dilabel secara manual oleh manusia, yang jelas membutuhkan banyak pekerjaan.

Untuk mengatasi masalah ini, kita dapat menggunakan pendekatan belajar mandiri. Dalam contoh ini, ide dasarnya adalah mengaitkan output dari sensor jarak pada langkah waktu$t' > t$ dengan output kamera pada langkah waktu $t$ (langkah waktu yang lebih kecil dari $t'$).

Lebih khusus lagi, anggaplah robot pada awalnya di koordinat$(x, y)$ (di pesawat), pada langkah waktu $t$. Pada titik ini, kami masih belum memiliki info yang cukup untuk memberi label keluaran kamera (pada langkah waktu yang sama$t$). Misalkan sekarang, pada waktu itu$t'$, robot sudah pada posisi $(x', y')$. Tepat waktu$t'$, output dari sensor proximity misalnya akan menjadi "objek di depan robot" atau "tidak ada objek di depan robot". Tanpa kehilangan keumuman, anggaplah bahwa output dari sensor proximity di$t' > t$ adalah "tidak ada objek di depan robot", maka label terkait dengan output kamera (bingkai gambar) pada saat itu $t$ akan "tidak ada objek di depan robot".

Untuk detail lebih lanjut tentang contoh khusus ini, lihat makalah Mempelajari Persepsi Jangka Panjang menggunakan Pengawasan Mandiri dari Sensor Jarak Pendek dan Odometri oleh Mirko Nava, Jérôme Guzzi, R. Omar Chavez-Garcia, Luca M. Gambardella dan Alessandro Giusti.

Perhatikan bahwa pembelajaran yang diawasi sendiri didefinisikan sedikit berbeda tergantung pada konteks atau area, yang dapat, misalnya, menjadi robot, pembelajaran penguatan atau pembelajaran representasi (atau fitur). Lebih tepatnya, definisi yang diberikan di atas digunakan dalam robotika. Lihat, misalnya, juga makalah ini Multi-task Self-Supervised Visual Learning . Untuk definisi yang sedikit berbeda dari belajar dengan pengawasan sendiri, lihat, misalnya, makalah Menggali Ke Dalam Estimasi Kedalaman Monokuler yang Dibimbing Sendiri .

Untuk pengantar pembelajaran mandiri lainnya, lihat artikel web ini: https://hackernoon.com/self-supervised-learning-gets-us-closer-to-autonomous-learning-be77e6c86b5a . Dalam artikel ini, penulis juga membandingkan pembelajaran mandiri dengan pembelajaran tanpa pengawasan, pembelajaran semi-diawasi dan pembelajaran penguatan.

Lebih jauh, jika Anda ingin mengetahui metode saat ini digunakan untuk pembelajaran mandiri, lihat artikel ini: https://amitness.com/2020/02/illustrated-self-supervised-learning . Dalam artikel ini, penulis merangkum ide-ide kunci dari metode yang diawasi mandiri yang ada dengan diagram dan visualisasi.

Ada juga daftar kurasi tautan ke makalah tempat pendekatan pembelajaran ini digunakan di URL berikut: https://github.com/jason718/awesome-self-supervised-learning .

Pembelajaran mandiri adalah ketika Anda menggunakan beberapa bagian sampel sebagai label untuk tugas yang membutuhkan tingkat pemahaman yang baik untuk dipecahkan. Saya akan menekankan dua poin utama ini, sebelum memberikan contoh:

• Label diekstraksi dari sampel , sehingga dapat dihasilkan secara otomatis, dengan beberapa algoritma yang sangat sederhana (mungkin hanya pemilihan acak).

• Tugas itu membutuhkan pemahaman . Ini berarti bahwa, untuk memprediksi output, model harus mengekstraksi beberapa pola yang baik dari data, menghasilkan representasi yang baik pada proses.

Kasus yang sangat umum untuk pembelajaran semi-diawasi terjadi dalam pemrosesan bahasa alami, ketika Anda perlu menyelesaikan tugas tetapi memiliki sedikit data berlabel. Dalam kasus seperti itu, Anda perlu mempelajari model representasi atau bahasa yang baik, sehingga Anda mengambil kalimat dan memberikan tugas pengawasan diri jaringan Anda seperti ini:

• Mintalah jaringan untuk memprediksi kata berikutnya dalam sebuah kalimat (yang Anda tahu karena Anda mengambilnya).

• Topeng kata dan minta jaringan untuk memprediksi kata mana yang ada di sana (yang Anda tahu karena Anda harus menyembunyikannya).

• Ubah kata untuk kata acak (yang mungkin tidak masuk akal) dan tanyakan pada jaringan kata mana yang salah.

Seperti yang Anda lihat, tugas-tugas ini cukup sederhana untuk dirumuskan dan labelnya adalah bagian dari sampel yang sama, tetapi mereka membutuhkan pemahaman tertentu tentang konteks yang harus dipecahkan.

Dan selalu seperti ini: ubah data Anda dengan cara tertentu, buat label dalam proses, dan tanyakan model apa yang terkait dengan transformasi itu. Jika tugas tersebut membutuhkan pemahaman yang cukup tentang data, Anda akan berhasil.

Pengenalan visual yang diawasi sendiri sering diterapkan untuk pembelajaran representasi. Di sini kita pertama belajar fitur pada data yang tidak berlabel (representasi pembelajaran), dan kemudian mempelajari model nyata pada fitur yang diekstraksi dari data yang diberi label. Ini khususnya masuk akal ketika kita memiliki banyak data yang tidak berlabel dan sedikit data yang berlabel.

Fitur-fiturnya dapat dipelajari dengan memecahkan apa yang disebut tugas dalih . Contoh tugas dalih adalah untuk memprediksi rotasi gambar yang gugup, untuk mengenali contoh gugup dari gambar yang sama, atau untuk memprediksi hubungan spasial patch gambar.

Tinjauan umum yang bagus dan hasil yang menarik dapat ditemukan dalam makalah baru-baru ini .