Pertanyaan yang diberi tag «parallelism»

Saya hanya menemukan puf (Pengambil URL paralel) tetapi saya tidak dapat membacanya untuk membaca url dari file; sesuatu seperti puf < urls.txt juga tidak bekerja. Sistem operasi yang diinstal pada server adalah Ubuntu.

14 ubuntu  wget  parallelism 

Saya punya tugas yang memproses daftar file di stdin. Waktu memulai program sangat besar, dan jumlah waktu yang dibutuhkan setiap file sangat bervariasi. Saya ingin menelurkan sejumlah besar proses ini, kemudian mengirim pekerjaan ke mana saja yang tidak sibuk. Ada beberapa alat commandline berbeda yang hampir melakukan apa yang saya …

13 xargs  split  parallelism 

Saya memiliki tiga jenis data yang dalam format berbeda; untuk setiap tipe data, ada skrip Python yang mengubahnya menjadi satu format tunggal. Skrip Python ini lambat dan terikat CPU (ke satu inti pada mesin multi-inti), jadi saya ingin menjalankan tiga contoh - satu untuk setiap tipe data - dan menggabungkan …

10 text-processing  pipe  split  parallelism 

Saya tahu bahwa pada baris perintah saya dapat menggunakan &untuk menjalankan perintah di latar belakang. Tapi saya bertanya-tanya apakah saya bisa melakukannya dalam naskah. Saya punya skrip seperti ini: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip ./*201* rm ./stay/!(*py|*sh) Dan saya …

10 bash  background-process  parallelism 

Saat ini saya mengalami masalah dengan dddipanggil dengan file jarang sebagai input ( if) dan file sebagai output ( of) dengan conv=sparse. ddtampaknya hanya menggunakan satu inti dari CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 core + 4 Intel Hyperthreads) (100% dari 1 core), jadi saya bertanya-tanya apakah mungkin …

10 linux  dd  parallelism 

Saya perlu menjalankan tes kinerja untuk program bersamaan saya dan persyaratan saya adalah bahwa itu harus dijalankan hanya pada satu inti CPU. (Saya tidak ingin utas kooperatif - Saya ingin selalu memiliki pengalihan konteks). Jadi saya punya dua pertanyaan: Solusi terbaik - Cara masuk dan cadangan hanya satu inti CPU …

9 linux  cpu  parallelism 

Saya menggunakan xargsuntuk memanggil skrip python untuk memproses sekitar 30 juta file kecil. Saya berharap dapat digunakan xargsuntuk memparalelkan proses. Perintah yang saya gunakan adalah: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Pada dasarnya, Convert.pyakan membaca dalam file json kecil (4kb), …

9 xargs  parallelism 

Saya telah menulis skrip bash yang dalam format berikut: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." The whileLoop akan membaca dari $inFile, melakukan beberapa aktivitas di …

9 shell-script  multithreading  parallelism 

Saya ingin memparalelkan forloop dari kode berikut. Bagaimana cara melakukannya? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" …

9 bash  shell-script  parallelism 

Apakah ini cara yang benar untuk memulai beberapa proses berurutan di latar belakang? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Semua jharus diproses setelah satu sama lain untuk diberikan i, tetapi semua iharus diproses secara bersamaan.

8 bash  background-process  for  parallelism 

Katakanlah saya memiliki beberapa skrip bash yang berjalan secara paralel, dengan kode seperti berikut: #!/bin/bash tail -f /dev/null & echo "pid is "$! Apakah $!dijamin memberi saya PID tugas latar belakang terbaru dalam skrip itu , atau apakah itu tugas latar belakang terbaru secara global? Saya hanya ingin tahu jika …

8 bash  shell-script  parallelism 

Saya memiliki proses paralel yang memalukan yang menciptakan sejumlah besar file yang identik (tetapi tidak sepenuhnya). Apakah ada cara untuk mengarsipkan file "on the fly", sehingga data tidak mengkonsumsi lebih banyak ruang daripada yang diperlukan? Proses itu sendiri menerima parameter baris perintah dan mencetak nama setiap file yang dibuat untuk …

8 filesystems  tar  parallelism  fuse 

Saya ingin menggunakan fitur GNU parallel di mana ia dapat mengeksekusi perintah dan daftar itu dimasukkan secara paralel dan meludahkannya setelah semuanya selesai, namun, saya tidak ingin menginstal GNU parallel di semua server kami. Atau mungkin versi paralel xargs? Apakah ada implementasi ksh dari apa yang dilakukan GNU Parallel? Dalam …

8 ksh  gnu  parallelism  gnu-parallel