Jika Anda sering mengalami hal semacam ini, coba Paralel . Itu seperti dsh (shell terdistribusi) tetapi memiliki beberapa fitur yang rapi seperti menghitung semaphores dan secara aktif dipertahankan.
Dari dokumentasi:
CONTOH: GNU Paralel sebagai sistem antrian / manajer batch
GNU Parallel dapat berfungsi sebagai sistem antrian pekerjaan sederhana atau manajer batch. Idenya adalah untuk menempatkan pekerjaan ke dalam file dan membuat GNU Parallel membaca dari itu terus menerus. Karena GNU Parallel akan berhenti di akhir file, kami menggunakan tail untuk melanjutkan membaca:
echo >jobqueue; tail -f jobqueue | parallel
Untuk mengirimkan pekerjaan Anda ke antrian:
echo my_command my_arg >> jobqueue
Anda tentu saja dapat menggunakan -S untuk mendistribusikan pekerjaan ke komputer jarak jauh:
echo >jobqueue; tail -f jobqueue | parallel -S ..
Ada banyak contoh bagus yang baru saja menggores permukaan. Ini yang keren.
CONTOH: Mendistribusikan pekerjaan ke komputer lokal dan jarak jauh
Konversikan * .mp3 ke * .ogg menjalankan satu proses per inti CPU di komputer lokal dan server2:
parallel --trc {.}.ogg -j+0 -S server2,: \
'mpg321 -w - {} | oggenc -q0 - -o {.}.ogg' ::: *.mp3