Transfer 15 TB file kecil

Saya mengarsipkan data dari satu server ke server lain. Awalnya saya memulai rsyncpekerjaan. Butuh 2 minggu untuk membangun daftar file hanya untuk 5 TB data dan satu minggu lagi untuk mentransfer 1 TB data.

Kemudian saya harus mematikan pekerjaan karena kita perlu waktu luang di server baru.

Telah disepakati bahwa kami akan menambahkannya karena kami mungkin tidak perlu mengaksesnya lagi. Saya berpikir untuk memecahnya menjadi potongan 500 GB. Setelah saya tarlalu saya akan menyalinnya ssh. Saya menggunakan tardan pigztetapi masih terlalu lambat.

Apakah ada cara yang lebih baik untuk melakukannya? Saya pikir kedua server ada di Redhat. Server lama adalah Ext4 dan yang baru adalah XFS.

Ukuran file berkisar dari beberapa kb hingga beberapa mb dan ada 24 juta jpeg dalam 5TB. Jadi saya kira sekitar 60-80 juta untuk 15TB.

sunting: Setelah bermain dengan rsync, nc, tar, mbuffer dan pigz selama beberapa hari. Kemacetan akan menjadi IO disk. Seperti data yang dilucuti di 500 SAS disk dan sekitar 250 juta jpeg. Namun, sekarang saya belajar tentang semua alat bagus yang dapat saya gunakan di masa depan.

Saya memiliki hasil yang sangat baik menggunakan tar, pigz(gzip paralel) dan nc.

Mesin sumber:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

Mesin tujuan:

Untuk mengekstrak:

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

Untuk menyimpan arsip:

nc source_machine_ip 9876 > smallstuff.tar.gz

Jika Anda ingin melihat kecepatan transfer hanya pipa pvsetelah pigz -d!

Saya akan tetap berpegang pada solusi rsync. Modern (3.0.0+) rsync menggunakan daftar file tambahan, sehingga tidak harus membuat daftar lengkap sebelum transfer. Jadi memulai kembali itu tidak akan mengharuskan Anda melakukan seluruh transfer lagi jika terjadi masalah. Memisahkan transfer per direktori tingkat atas atau kedua akan mengoptimalkan ini lebih jauh. (Saya akan menggunakan rsync -a -Pdan menambahkan --compressjika jaringan Anda lebih lambat dari drive Anda.)

Siapkan VPN (jika internetnya), buat drive virtual dengan beberapa format pada server jarak jauh (buat ext4), pasang di server jauh, lalu pasang di server lokal (menggunakan protokol tingkat blok seperti iSCSI ), dan gunakan dd atau alat level blok lain untuk melakukan transfer. Anda kemudian dapat menyalin file dari drive virtual ke drive nyata (XFS) sesuka Anda.

Dua alasan:

1. Tidak ada overhead sistem file, yang merupakan penyebab utama kinerja
2. Tanpa mencari, Anda melihat membaca / menulis berurutan di kedua sisi

Jika server lama sedang dinonaktifkan dan file-file dapat offline selama beberapa menit maka seringkali paling cepat untuk hanya menarik drive keluar dari kotak lama dan kabel mereka ke server baru, pasang mereka (kembali online sekarang) dan salin file-file ke disk asli server baru.

Gunakan mbuffer dan jika berada di jaringan yang aman Anda dapat menghindari langkah enkripsi.

(Banyak jawaban berbeda dapat bekerja. Ini satu lagi.)

Buat daftar file dengan find -type f(ini akan selesai dalam beberapa jam), pisahkan menjadi potongan-potongan kecil, dan transfer setiap potongan menggunakan rsync --files-from=....

Sudahkah Anda mempertimbangkan sneakernet? Dengan itu, maksud saya mentransfer semuanya ke drive yang sama, kemudian secara fisik memindahkan drive itu.

sekitar sebulan yang lalu, Samsung meluncurkan drive 16 TB (secara teknis, ini 15,36 TB), yang juga merupakan SSD: http://www.theverge.com/2015/8/14/9153083/samsung-worlds-largest-hard -drive-16tb

Saya pikir drive ini akan lakukan untuk ini. Anda masih harus menyalin semua file, tetapi karena Anda tidak memiliki latensi jaringan dan mungkin dapat menggunakan SATA atau teknik cepat yang serupa, itu harus jauh lebih cepat.

Jika ada peluang untuk mendapatkan rasio keberhasilan yang tinggi saat deduplikasi, saya akan menggunakan sesuatu seperti borgbackup atau Attic.

Jika tidak, periksa solusi netcat + tar + pbzip2 , sesuaikan opsi kompresi sesuai dengan perangkat keras Anda - periksa apa hambatannya (jaringan CPU? IO?). Pbzip2 akan menjangkau semua CPU, memberikan kinerja yang lebih baik.

Anda menggunakan RedHat Linux, jadi ini tidak berlaku, tetapi sebagai opsi lain:

Saya sudah sangat sukses menggunakan ZFS untuk menyimpan jutaan file karena inode bukan masalah.

Jika itu pilihan bagi Anda, Anda kemudian dapat mengambil foto dan menggunakan zfs untuk mengirim pembaruan tambahan. Saya sudah banyak sukses menggunakan metode ini untuk mentransfer serta mengarsipkan data.

ZFS pada dasarnya adalah sistem file Solaris, tetapi dapat ditemukan di illumos (garpu open source dari Sun's OpenSolaris). Saya tahu ada juga sedikit keberuntungan dalam menggunakan ZFS di bawah BSD dan Linux (menggunakan FUSE?) - tapi saya tidak punya pengalaman mencoba itu.

Mulai rsyncdaemon di mesin target. Ini akan mempercepat proses transfer.

Anda dapat melakukan ini hanya dengan tar dan ssh, seperti ini:

tar zcf - <your files> | ssh <destination host> "cat > <your_file>.tar.gz"

Atau, jika Anda ingin menyimpan file individual:

tar zcf - <your files> | ssh <destination host> "tar zxf -"