Pertanyaan yang diberi tag «gnu-parallel»

Saya telah mencoba untuk memparalelkan skrip berikut, khususnya masing-masing dari tiga instance loop FOR, menggunakan GNU Parallel tetapi belum mampu. 4 perintah yang terkandung dalam loop FOR dijalankan secara seri, masing-masing loop membutuhkan waktu sekitar 10 menit. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt …

109 shell-script  gnu-parallel 

Saya bingung tentang perbedaan atau keuntungan (jika ada) menjalankan serangkaian tugas dalam .shskrip menggunakanGNU parallel Misalnya jawaban Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png daripada mengatakan perulangan melalui mereka menempatkan mereka di latar belakang &. Misalnya jawaban frostschutz : #copied from the link for illustration for stuff …

40 shell-script  background-process  xargs  gnu-parallel 

Saya telah menggunakan rsyncskrip untuk menyinkronkan data di satu host dengan data di host lain. Data memiliki banyak file berukuran kecil yang berkontribusi hampir 1,2TB. Untuk menyinkronkan file-file itu, saya telah menggunakan rsyncperintah sebagai berikut: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Isi proj.lst adalah sebagai berikut: + proj1 …

18 linux  rhel  rsync  gnu-parallel 

Saya memiliki masalah scripting shell di mana saya diberi direktori yang penuh dengan file input (setiap file yang mengandung banyak baris input), dan saya perlu memprosesnya secara individual, mengarahkan setiap output mereka ke file yang unik (alias, file_1.input perlu untuk ditangkap dalam file_1.output, dan sebagainya). Pra-paralel , saya hanya akan …

18 scripting  parallelism  gnu-parallel 

Dalam skrip yang lebih besar untuk memposting-proses beberapa data simulasi saya memiliki baris berikut: parallel bnzip2 -- *.bz2 Yang, jika saya mengerti paralleldengan benar (dan saya mungkin tidak), harus menjalankan utas-utas program pada semua file dengan ekstensi yang terdaftar. Anda mungkin memperhatikan bahwa saya salah mengeja perintah bunzip2. Saya mengharapkan …

15 gnu-parallel  moreutils-parallel 

Jadi saya memiliki loop sementara: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Tapi ini bisa memakan waktu lama. Bagaimana saya menggunakan GNU Parallel untuk loop sementara ini?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Saya berharap baris kedua bertindak sama.

9 bash  shell  quoting  gnu-parallel 

Saya memuat file yang sangat besar ke database postgresql. Untuk melakukan ini saya pertama kali menggunakan splitdalam file untuk mendapatkan file yang lebih kecil (masing-masing 30Gb) dan kemudian saya memuat setiap file yang lebih kecil ke database menggunakan GNU Paralleldan psql copy. Masalahnya adalah bahwa dibutuhkan sekitar 7 jam untuk …

9 files  split  gnu-parallel 

Misalkan saya ingin menemukan semua kecocokan dalam file teks terkompresi: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --ratedigunakan di sini untuk mengukur throughput pipa. Di komputer saya ini sekitar 420Mb / s (setelah dekompresi). Sekarang saya mencoba untuk melakukan grep paralel menggunakan GNU parallel. $ …

8 shell  gnu-parallel 

Saya ingin menggunakan fitur GNU parallel di mana ia dapat mengeksekusi perintah dan daftar itu dimasukkan secara paralel dan meludahkannya setelah semuanya selesai, namun, saya tidak ingin menginstal GNU parallel di semua server kami. Atau mungkin versi paralel xargs? Apakah ada implementasi ksh dari apa yang dilakukan GNU Parallel? Dalam …

8 ksh  gnu  parallelism  gnu-parallel