Dalam mengerjakan analisis data eksplorasi, dan mengembangkan algoritma, saya menemukan bahwa sebagian besar waktu saya dihabiskan dalam siklus visualisasi, menulis beberapa kode, berjalan pada dataset kecil, ulangi. Data yang saya miliki cenderung pada jenis visi komputer / jenis sensor fusi, dan algoritme yang berat untuk visi (misalnya deteksi dan pelacakan objek, dll), dan algoritma yang tidak berfungsi dalam konteks ini tidak berfungsi. Saya menemukan bahwa ini membutuhkan banyak iterasi (misalnya, untuk memanggil jenis algoritma atau menyetel parameter dalam algoritma, atau untuk mendapatkan visualisasi yang tepat) dan juga waktu menjalankan bahkan pada dataset kecil cukup panjang, jadi semua bersama-sama butuh waktu.
Bagaimana pengembangan algoritma itu sendiri dipercepat dan dibuat lebih skalabel?
Beberapa tantangan spesifik:
Bagaimana jumlah iterasi dapat dikurangi? (Terutama ketika jenis algoritme apa, apalagi spesifikasinya, tampaknya tidak mudah diprediksi tanpa mencoba versi yang berbeda dan memeriksa perilakunya)
Bagaimana cara menjalankan dataset yang lebih besar selama pengembangan? (Seringkali berpindah dari dataset kecil ke besar adalah ketika sekelompok perilaku baru dan masalah baru terlihat)
Bagaimana parameter algoritma dapat disetel lebih cepat?
Bagaimana cara menerapkan alat jenis pembelajaran mesin untuk pengembangan algoritma itu sendiri? (Misalnya, alih-alih menulis algoritma dengan tangan, tulis beberapa blok penyusun sederhana dan gabungkan dengan cara yang dipelajari dari masalah, dll.)