Memanggil beberapa skrip bash dan menjalankannya secara paralel, bukan secara berurutan

Misalkan saya memiliki tiga (atau lebih) script bash: script1.sh, script2.sh, dan script3.sh. Saya ingin memanggil ketiga skrip ini dan menjalankannya secara paralel . Salah satu cara untuk melakukan ini adalah dengan hanya menjalankan perintah berikut:

nohup bash script1.sh &
nohup bash script2.sh &
nohup bash script3.sh &

(Secara umum, skrip mungkin membutuhkan beberapa jam atau hari untuk menyelesaikannya, jadi saya ingin menggunakannya nohupagar terus berjalan meskipun konsol saya ditutup.)

Tetapi, adakah cara untuk menjalankan ketiga perintah itu secara paralel dengan satu panggilan?

Saya sedang memikirkan sesuatu seperti

nohup bash script{1..3}.sh &

tapi ini muncul untuk mengeksekusi script1.sh, script2.shdan script3.shsecara berurutan, tidak secara paralel.

for((i=1;i<100;i++)); do nohup bash script${i}.sh & done

Cara yang lebih baik adalah dengan menggunakan GNU Parallel . Paralel GNU sederhana dan dengan itu kita dapat mengontrol jumlah pekerjaan yang dijalankan secara paralel dengan lebih banyak kontrol atas pekerjaan.

Dalam perintah di bawah ini, script{1..3}.shdiperluas dan dikirim sebagai argumen bashsecara paralel. Di sini -j0menunjukkan bahwa sebanyak mungkin pekerjaan harus dijalankan. Secara default parallelmenjalankan satu pekerjaan untuk satu inti cpu.

$ parallel -j0 bash :::: <(ls script{1..3}.sh)

Dan Anda juga dapat mencoba menggunakan

$ parallel -j0 bash ::: script{1..3}.sh

Saat menjalankan metode kedua jika Anda mendapatkan pesan kesalahan maka itu berarti bahwa --tollefopsi diatur /etc/parallel/configdan yang perlu dihapus dan semuanya akan berfungsi dengan baik.

Anda dapat membaca GNU Parallelshalaman manual di sini untuk opsi yang lebih kaya.

Dan jika Anda menjalankan pekerjaan dari mesin jarak jauh, lebih baik gunakan screenagar sesi tidak ditutup karena masalah jaringan. nohuptidak perlu, seperti versi terbaru dari bash sebagai datang dengan huponexitsebagai offdan ini akan mencegah orang tua shell mengirimkan HUPsinyal kepada anak-anak selama keluarnya. Dalam kasus jika tidak disetel lakukan dengan

$ shopt -u huponexit  

Kita juga bisa menggunakan xargsuntuk menjalankan banyak skrip secara paralel.

$ ls script{1..5}.sh|xargs -n 1 -P 0 bash

di sini setiap skrip diteruskan ke bash sebagai argumen secara terpisah. -P 0menunjukkan bahwa jumlah proses paralel dapat sebanyak mungkin. Lebih aman menggunakan bash default job control feature (&).

Solusi jalur tunggal :

$ nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh &

Dengan kurang cerdik, cukup gunakan skrip wrapper:

$ cat script.sh
#!/usr/bin/env bash
script1.sh &
script2.sh &
script3.sh &
$ nohup script.sh &

Atau lewati mereka:

for script in dir/*.sh
do
    nohup bash "$script" &
done

Jika Anda ingin menghemat usaha mengetik

eval "nohup bash "script{1..3}.sh" &"

Atau pada pikiran kedua, mungkin tidak

Lihat alat ini: https://github.com/wagoodman/bashful

Katakanlah Anda sudah mytasks.yamlbersama

tasks:
    - name: A title for some tasks
      parallel-tasks:
        - cmd: ./script1.sh
        - cmd: ./script2.sh -x an-arg
        - cmd: ./script3.sh -y some-other-arg

Dan Anda menjalankannya seperti ini:

nohup bashful run mytasks.yaml

Skrip Anda akan dijalankan secara paralel dengan bilah kemajuan vertikal (+ eta jika Anda sudah menjalankannya sebelumnya dan waktunya sudah pasti). Anda dapat mengubah berapa banyak tugas yang ingin Anda jalankan secara paralel jika Anda mulai menjalankan lebih dari 3 yang diberikan di sini:

config:
    max-parallel-commands: 6
tasks:
    ...

Penafian: Saya penulis.

Saya menyarankan utilitas yang jauh lebih sederhana yang baru saja saya tulis. Saat ini disebut par, tetapi akan segera diganti nama menjadi parl atau pll, belum memutuskan.

https://github.com/k-bx/par

API sesederhana:

par "script1.sh" "script2.sh" "script3.sh"

Gunakan paralelshell

parallelshell "echo 1" "echo 2" "echo 3"

https://github.com/keithamus/parallelshell