Empat tugas secara paralel ... bagaimana saya melakukannya?

Saya memiliki banyak gambar PNG di direktori. Saya memiliki aplikasi bernama pngout yang saya jalankan untuk mengompres gambar-gambar ini. Aplikasi ini disebut dengan script yang saya lakukan. Masalahnya adalah skrip ini melakukan satu per satu, seperti ini:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Memproses hanya satu file pada satu waktu, membutuhkan banyak waktu. Setelah menjalankan aplikasi ini, saya melihat bahwa CPU hanya 10%. Jadi saya menemukan bahwa saya dapat membagi file-file ini dalam 4 batch, menempatkan setiap batch dalam direktori dan memecat 4, dari empat jendela terminal, empat proses, jadi saya memiliki empat contoh skrip saya, pada saat yang sama, memproses gambar-gambar dan pekerjaan membutuhkan 1/4 waktu.

Masalah kedua adalah saya kehilangan waktu untuk membagi gambar dan kumpulan dan menyalin naskah ke empat direktori, buka 4 terminal windows, bla bla ...

Bagaimana melakukannya dengan satu skrip, tanpa harus membagi apa pun?

Maksud saya dua hal: pertama bagaimana saya dari skrip bash, menjalankan proses ke latar belakang? (cukup tambahkan & ke akhir?) Kedua: bagaimana saya berhenti mengirim tugas ke latar belakang setelah mengirim tugas keempat dan menempatkan skrip untuk menunggu sampai tugas berakhir? Maksud saya, hanya mengirim tugas baru ke latar belakang sebagai salah satu tugas berakhir, menjaga selalu 4 tugas secara paralel? jika saya tidak melakukan itu, loop akan memuntahkan banyak tugas ke latar belakang dan CPU akan menyumbat.

Jika Anda memiliki salinan xargsyang mendukung eksekusi paralel -P, Anda dapat melakukannya

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Untuk ide lain, wiki Wooledge Bash memiliki bagian dalam artikel Manajemen Proses yang menjelaskan dengan tepat apa yang Anda inginkan.

Selain solusi yang sudah diajukan, Anda dapat membuat makefile yang menjelaskan cara membuat file terkompresi dari tidak terkompresi, dan gunakan make -j 4untuk menjalankan 4 pekerjaan secara paralel. Masalahnya adalah Anda perlu memberi nama file terkompresi dan tidak dikompresi secara berbeda, atau menyimpannya di direktori yang berbeda, jika tidak menulis aturan make yang masuk akal tidak akan mungkin.

Jika Anda telah menginstal GNU Parallel http://www.gnu.org/software/parallel/ Anda dapat melakukan ini:

parallel ./pngout -s0 {} R{} ::: *.png

Anda dapat menginstal GNU Parallel hanya dengan:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Tonton video intro untuk GNU Parallel untuk mempelajari lebih lanjut: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Untuk menjawab dua pertanyaan Anda:

• ya, menambahkan & di akhir baris akan memerintahkan Anda untuk memulai proses latar belakang.
• menggunakan waitperintah, Anda dapat meminta shell untuk menunggu semua proses di latar belakang selesai sebelum melanjutkan lebih jauh.

Berikut skrip yang dimodifikasi sehingga jdigunakan untuk melacak jumlah proses latar belakang. Ketika NB_CONCURRENT_PROCESSEStercapai, skrip akan diatur ulang jke 0 dan menunggu semua proses latar belakang selesai sebelum melanjutkan kembali pelaksanaannya.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done