Menjalankan ribuan proses latar belakang ikal secara paralel dalam skrip bash

Saya menjalankan beberapa proses latar belakang ikal secara paralel dalam skrip bash berikut

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Saya memiliki dedicated server 49Gb Corei7-920 (bukan virtual).

Saya melacak konsumsi memori dan CPU melalui topperintah dan mereka jauh dari batas.

Saya menggunakan ps aux | grep curl | wc -luntuk menghitung jumlah proses ikal saat ini . Jumlah ini meningkat dengan cepat hingga 2-4 ribu dan kemudian mulai terus menurun.

Jika saya menambahkan penguraian sederhana melalui perpipaan ikal ke awk ( curl | awk > output) dari jumlah proses ikal menaikkan hanya 1-2 ribu dan kemudian menurun menjadi 20-30 ...

Mengapa jumlah proses menurun secara dramatis? Di mana batas arsitektur ini?

Mengikuti pertanyaan ketat:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Lebih pendek jika Anda tidak memerlukan teks pelat di sekitar timing:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Jika Anda ingin menjalankan 1000s secara paralel, Anda akan mencapai beberapa batasan (seperti pegangan file). Meningkatkan ulimit -n atau /etc/security/limits.conf dapat membantu.

for i in {1..100000}

Hanya ada 65.536 port. Tutup ini.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(sunting: (sunting: lepaskan pernyataan yang sangat tanggal tentang batas OS dan tambahkan yang hilang )echocurl
wait