Menjalankan beberapa thread scp secara bersamaan:
Latar Belakang:
Saya sering mendapati diri saya sering mem- mirror satu set file server, dan termasuk dalam file server ini ada ribuan file 1kb-3kb kecil. Semua server terhubung ke port 1Gbps, umumnya tersebar di berbagai pusat data.
Masalah:
SCP mentransfer file-file kecil ini, SATU demi SATU, dan itu butuh waktu lama, dan saya merasa seperti saya membuang-buang sumber daya jaringan yang indah yang saya miliki.
Larutan?:
Saya punya ide; Membuat skrip, yang membagi file menjadi jumlah yang sama, dan memulai 5-6 scp utas, yang secara teoritis kemudian akan dilakukan 5-6 kali lebih cepat, bukan? Tapi saya tidak punya pengalaman scripting linux!
Pertanyaan:
- Apakah ada solusi yang lebih baik untuk masalah yang disebutkan?
- Apakah sudah ada yang seperti ini?
- Jika tidak, apakah ada seseorang yang akan memberi saya permulaan, atau membantu saya?
- Jika tidak ke 2, atau 3, di mana akan menjadi tempat yang baik untuk mulai mencari belajar scripting linux? Seperti bash, atau lainnya.