Pertanyaan yang diberi tag «parallelism»

Ada daftar alamat IP dalam file .txt, mis .: 1.1.1.1 2.2.2.2 3.3.3.3 Di belakang setiap alamat IP ada server, dan pada setiap server ada sshd yang berjalan pada port 22. Tidak setiap server ada dalam known_hostsdaftar (pada PC saya, Ubuntu 10,04 LTS / bash). Bagaimana saya bisa menjalankan perintah di …

46 ssh  scripting  parallelism 

Saya menggunakan prosesor quad IMX6 freescale. Saya ingin tahu apakah topperintah tersebut mencantumkan penggunaan CPU dari semua 4 core atau dari satu core. Saya melihat penggunaan CPU aplikasi sama dengan 4 core dan dengan single core. Saya menduga penggunaan CPU oleh aplikasi akan meningkat pada satu inti dan berkurang pada …

46 linux  top  parallelism  cpu-usage 

Saya memiliki folder yang memiliki 250+ file masing-masing 2 GB. Saya perlu mencari string / pola dalam file-file itu dan menampilkan hasilnya dalam outputfile. Saya tahu saya bisa menjalankan perintah berikut, tetapi terlalu lambat !! grep mypattern * > output Saya ingin mempercepatnya. Menjadi seorang programmer di Java, saya tahu …

38 grep  parallelism 

Saya perlu mengunduh file besar (1GB). Saya juga memiliki akses ke banyak komputer yang menjalankan Linux, tetapi masing-masing dibatasi pada kecepatan unduh 50kB / s oleh kebijakan admin. Bagaimana cara saya mendistribusikan pengunduhan file ini di beberapa komputer dan menggabungkannya setelah semua segmen diunduh, sehingga saya dapat menerimanya lebih cepat?

38 download  cluster  parallelism 

Apakah ada alat / perintah di Linux yang dapat saya gunakan untuk menjalankan perintah di lebih dari satu tab secara bersamaan? Saya ingin menjalankan perintah yang sama:./myprog argument1 argument2 secara bersamaan di lebih dari satu shell untuk memeriksa apakah mutex berfungsi dengan baik dalam program berulir. Saya ingin dapat meningkatkan …

33 shell  terminal  parallelism 

Saya ingin mengkompilasi secepat mungkin. Sosok pergi. Dan ingin mengotomatiskan pilihan nomor yang mengikuti -jopsi. Bagaimana saya bisa secara terprogram memilih nilai itu, misalnya dalam skrip shell? Apakah output nprocsetara dengan jumlah utas yang saya miliki untuk dikompilasi? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

Dengan asumsi bahwa disk I / O dan RAM bebas adalah hambatan (sementara waktu CPU bukan batasan), apakah ada alat yang dapat menghitung beberapa pesan sekaligus? Saya khususnya tertarik menghitung MD-5 dan SHA-256 yang mencerna file besar (ukuran dalam gigabyte), lebih disukai secara paralel. Saya sudah mencoba openssl dgst -sha256 …

25 shell-script  hashsum  parallelism 

Saya memiliki banyak gambar PNG di direktori. Saya memiliki aplikasi bernama pngout yang saya jalankan untuk mengompres gambar-gambar ini. Aplikasi ini disebut dengan script yang saya lakukan. Masalahnya adalah skrip ini melakukan satu per satu, seperti ini: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f file..." # take action …

23 shell  background-process  parallelism 

Misalkan saya memiliki tiga (atau lebih) script bash: script1.sh, script2.sh, dan script3.sh. Saya ingin memanggil ketiga skrip ini dan menjalankannya secara paralel . Salah satu cara untuk melakukan ini adalah dengan hanya menjalankan perintah berikut: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Secara umum, skrip …

19 bash  shell-script  background-process  parallelism 

Saya memiliki masalah scripting shell di mana saya diberi direktori yang penuh dengan file input (setiap file yang mengandung banyak baris input), dan saya perlu memprosesnya secara individual, mengarahkan setiap output mereka ke file yang unik (alias, file_1.input perlu untuk ditangkap dalam file_1.output, dan sebagainya). Pra-paralel , saya hanya akan …

18 scripting  parallelism  gnu-parallel 

Saya menggunakan xargsdengan opsi --max-args=0(alternatif -P 0). Namun, output dari proses digabung ke dalam stdoutaliran tanpa memperhatikan pemisahan garis yang tepat. Jadi saya akan sering berakhir dengan garis-garis seperti: <start-of-line-1><line-2><end-of-line-1> Seperti yang saya gunakan egrepdengan ^dalam pola saya pada seluruh xargsoutput ini mengacaukan hasil saya. Apakah ada cara untuk memaksa …

17 process  io  xargs  parallelism 

Saya dapat ssh ke mesin jarak jauh yang memiliki 64 core. Katakanlah saya perlu menjalankan 640 skrip shell secara paralel pada mesin ini. Bagaimana saya melakukan ini? Saya dapat melihat memisahkan 640 skrip menjadi 64 grup masing-masing dari 10 skrip. Bagaimana saya kemudian menjalankan masing-masing kelompok ini secara paralel , …

16 parallelism 

Pertimbangkan skenario berikut. Saya memiliki dua program A dan B. Output Program A ke stdout string, sedangkan program B memproses baris dari stdin. Cara menggunakan kedua program ini tentu saja: foo @ bar: ~ $ A | B Sekarang saya perhatikan bahwa ini memakan hanya satu inti; karenanya saya bertanya-tanya: …

16 shell  parallelism 

Saya memiliki skrip bash shell di mana saya menyalurkan beberapa data melalui sekitar 5 atau 6 program yang berbeda kemudian hasil akhir menjadi file yang dibatasi tab. Saya kemudian melakukan hal yang sama lagi untuk dataset serupa yang terpisah dan output ke file kedua. Kemudian kedua file tersebut dimasukkan ke …

14 scripting  parallelism 

Misalkan saya memiliki dua sumber daya, bernama 0dan 1, yang hanya dapat diakses secara eksklusif. Apakah ada cara untuk memulihkan "indeks" dari "prosesor paralel" yang xargsdiluncurkan untuk menggunakannya sebagai layanan saling pengecualian gratis? Misalnya, pertimbangkan perhitungan paralel berikut: $ echo {1..8} | xargs -d " " -P 2 -I {} …

14 xargs  parallelism