Pertanyaan yang diberi tag «parallel-processing»

Saya bermain-main dengan skrip dan baik saya terbawa (masih berjalan sekarang dan komputer saya belum mati) Saya menjalankan 17 iterasi skrip (dengan maksud menabrak komputer saya). Melihat monitor aktivitas, saya melihat bahwa setiap proses Python memiliki pid yang unik dan mereka masing-masing memakan sekitar 17-20% dari kekuatan pemrosesan saya masing-masing …

64 macos  cpu  parallel-processing 

Saya baru saja pindah dan menemukan setelah beberapa percobaan dan kesalahan bahwa di suatu tempat antara rumah saya dan server jarak jauh saya, ada beberapa pelambatan yang terjadi ... tetapi pelambatan tidak terlalu cerdas. Ini hanya membatasi koneksi individual. Jadi jika saya menyalin satu file 1 GB, itu akan melanjutkan …

30 networking  rsync  parallel-processing 

Berurutan: for i in {1..1000}; do do_something $i; done- terlalu lambat Paralel: for i in {1..1000}; do do_something $i& done- terlalu banyak memuat Bagaimana menjalankan perintah secara paralel, tetapi tidak lebih dari, misalnya, 20 instance per momen? Sekarang biasanya menggunakan hack like for i in {1..1000}; do do_something $i& sleep …

23 linux  bash  parallel-processing 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Pengguna Super. Ditutup 2 tahun yang lalu . Kami memiliki perintah fabric Python yang berjalan secara paralel di beberapa host, seperti ini: $ fab --hosts=prod1.server,prod2.server,prod3.server --parallel copy_cache Ini …

22 python  deployment  threads  parallel-processing  jenkins 

Saya secara rutin harus menyalin isi folder pada sistem file jaringan ke komputer lokal saya. Ada banyak file (1000s) pada folder jarak jauh yang semuanya relatif kecil tetapi karena overhead jaringan, salinan biasa cp remote_folder/* ~/local_folder/membutuhkan waktu yang sangat lama (10 menit). Saya percaya itu karena file sedang disalin secara …

17 unix  threads  parallel-processing 

Seperti saat ini, pertanyaan ini tidak cocok untuk format tanya jawab kami. Kami berharap jawaban didukung oleh fakta, referensi, atau keahlian, tetapi pertanyaan ini kemungkinan akan mengundang debat, argumen, polling, atau diskusi panjang. Jika Anda merasa bahwa pertanyaan ini dapat diperbaiki dan mungkin dibuka kembali, kunjungi pusat bantuan untuk panduan. …

16 cpu  multi-core  computer-architecture  multi-processor  parallel-processing 

Berikut adalah beberapa pertanyaan, saya berharap Anda dapat mencerahkan saya. Apakah mungkin untuk menggabungkan kekuatan pemrosesan 2 komputer? Bagaimana saya melakukannya?

14 windows-7  parallel-processing 

Adakah yang tahu jika ada skrip cmd yang melakukan itu dan / atau alat baris perintah yang siap untuk pekerjaan itu?

14 windows  command-line  parallel-processing  wait 

Saya ingin membatasi waktu grepperintah proses diizinkan untuk menjalankan atau hidup. Sebagai contoh. Saya ingin melakukan hal berikut: grep -qsRw -m1 "parameter" /var Tetapi sebelum menjalankan grepperintah, saya ingin membatasi berapa lama grepproses ini berjalan, katakan tidak lebih dari 30 detik. Bagaimana saya melakukan ini? Dan jika bisa, bagaimana cara …

13 linux  task-manager  parallel-processing 

Saya menggunakan netcat untuk menjalankan server sederhana seperti ini: while true; do nc -l -p 2468 -e ./my_exe; done Dengan cara ini, siapa pun dapat terhubung ke host saya di port 2468 dan berbicara dengan "my_exe". Sayangnya, jika orang lain ingin terhubung selama sesi terbuka, itu akan mendapatkan kesalahan "Sambungan …

12 netcat  parallel-processing 

Saya ingin memproses banyak file dan karena saya sudah ada di sini sekelompok core saya ingin melakukannya secara paralel: for i in *.myfiles; do do_something $i `derived_params $i` other_params; done Saya tahu solusi Makefile tetapi perintah saya membutuhkan argumen dari daftar globbing shell. Apa yang saya temukan adalah: > function …

11 bash  shell  zsh  parallel-processing 

Saya mencoba membuat unik satu set garis yang ditarik dari file dengan egrep dengan sort -u, lalu hitung. Sekitar 10% dari baris (semua 100 karakter dari alfabet [ATCG]) digandakan. Ada dua file, masing-masing sekitar 3 gigs, 50% tidak relevan, jadi mungkin 300 juta baris. LC_ALL=C grep -E <files> | sort …

10 linux  cpu  sorting  parallel-processing 

Pekerjaan yang sedang berjalan menunjukkan dua entri, salah satunya memiliki .externakhiran. Selesai (atau gagal) pekerjaan juga memiliki entri ketiga: .batch. Apakah ada cara untuk menghapus (atau tidak menunjukkan ini) dari sacctoutput? Apa saja entri ini?

2 cluster  parallel-processing  slurm 

Seperti apa judulnya; Saya berharap akan melakukan sentuhan pembersihan audio / format switching. Rencana saya adalah mencoba melakukan ini dengan libav. Rupanya pemrosesan semacam itu cukup intensif; karenanya saya ingin mencoba ini menggunakan pemrosesan terdistribusi ... yang memunculkan pertanyaan - Bagaimana cara mengetahui apakah libav cocok untuk pemrosesan terdistribusi / …

1 audio  cluster  parallel-processing 

Apakah ada skrip atau sesuatu yang dapat menggunakan scp untuk menyalin satu file dari beberapa server / sumber, masing-masing koneksi dengan chunk / chunk sendiri? Saya ingin sesuatu seperti bagaimana torrent bertindak. Saya tidak memiliki opsi untuk benar-benar menjalankan server torrent. Saya yakin file berada di jalur yang sama di …

ssh  scp  parallel-processing