scp file secara paralel DARI beberapa server

Apakah ada skrip atau sesuatu yang dapat menggunakan scp untuk menyalin satu file dari beberapa server / sumber, masing-masing koneksi dengan chunk / chunk sendiri? Saya ingin sesuatu seperti bagaimana torrent bertindak. Saya tidak memiliki opsi untuk benar-benar menjalankan server torrent. Saya yakin file berada di jalur yang sama di semua server itu, dan berisi file yang sama persis.

ssh scp parallel-processing

— Catalin Vasile
sumber

-1

Ini dapat bekerja untuk Anda jika Anda menyimpan file Anda di 1 lokasi (/ tmp) dari beberapa server lain jika Anda ingin menyimpannya di lokasi 2-3 maka perlu loop if-else

for i in Node1 Node2 Node3 .....;
do;
  scp root@$i:/tmp/ /tmp;
done

— Akash
sumber

Bisakah Anda merinci solusi Anda? Apa itu? Mengapa ini berhasil?

— Catalin Vasile

Oke, Anda ingin satu file disalin dari Beberapa server ... Saya memberi Anda solusi untuk menyalin beberapa file dari Banyak server ke server lokal Anda.

— Akash

Mungkin kita dapat menambahkan ...

— Akash

Kode ini berulang secara berurutan, tidak paralel. Untuk alasan ini saja bukan itu yang diinginkan OP. Anda telah memperhatikan dalam komentar Anda OP menginginkan satu file. Bahkan jika Anda meletakkan scpdi latar belakang dan mereka mengunduh file yang sama, setiap proses akan mencoba untuk mendapatkan seluruh file. Apakah aku salah? Mungkin mereka akan saling mengganggu dengan menulis ke tujuan yang sama. Dalam kasus terbaik Anda akan memiliki file segera setelah server tercepat memberikannya, dengan beberapa scps masih menimpa dengan konten yang sama di latar belakang.

— Kamil Maciorowski