Mentransfer 10 TB file dari pusat data AS ke Inggris

Saya memigrasi server saya dari Amerika Serikat ke Inggris dari satu pusat data ke yang lain. Tuan rumah saya mengatakan saya harus bisa mencapai 11 megabita per detik.

Sistem operasi adalah Windows Server 2008 di kedua ujungnya.

Ukuran file rata-rata saya sekitar 100 MB dan data dibagi menjadi lima drive 2 TB.

Apa cara yang disarankan untuk mentransfer file-file ini?

• FTP
• SMB
• Rsync / Robocopy
• Lain?

Saya tidak terlalu peduli dengan keamanan karena ini adalah file publik, tapi saya hanya ingin solusi yang dapat mendorong kecepatan transfer 11 MB / s penuh untuk meminimalkan total waktu transfer.

Kirim hard drive melintasi laut sebagai gantinya.

Pada 11 Mbps dengan pemanfaatan penuh, Anda hanya membutuhkan waktu 90 hari untuk mentransfer 10 TB.

11 Mbps = 1.375 MBps = 116.015 GB / hari .

10240 GB / 116.015 GB / hari = ~ 88,3 hari .

Saya akan mengatakan rsync, pada 11 MB / s Anda akan melihat 10-14 hari dan bahkan jika Anda terganggu, rsync akan dengan mudah memulai di mana ia berhenti terakhir kali.

Pada 11 Mbps saya akan mengirimkan hard disk seperti yang disarankan di atas :)

Rsync tentu saja.

Setidaknya Anda dapat melanjutkan kapan saja setelah istirahat, dan itu tanpa rasa sakit.

Jangan pernah meremehkan bandwidth dari station wagon yang penuh dengan kaset

- Trad.

Dalam kasus Anda, disk atau kaset dikirim oleh kurir, tetapi prinsipnya masih berlaku. Jika Anda tidak peduli tentang latensi, ini akan jauh lebih murah daripada bandwidth jaringan untuk mentransfer 10TB data dalam jangka waktu yang wajar.

Anda harus menggunakan rsync. Ini akan memampatkan data dan menduplikat sebelum mengirim. Itu juga dapat melanjutkan transfer parsial, yang sangat penting untuk transfer besar.

Kemungkinan tidak mentransfer 10 TB; jika log dan teks dan semacamnya bisa di bawah 1 TB; mungkin jauh di bawah 1 TB.

Ada alat yang melakukan pekerjaan kompresi yang lebih baik daripada rsync dan kemungkinan menemukan lebih banyak kecocokan. Anda bisa menggunakan lrzip, dll.

Ada tipe data tertentu yang tidak kompres dengan baik dan tidak mengandung dupe literal - video dan media lainnya misalnya. Dalam kasus tersebut, FTP dan rsync melakukan banyak upaya yang sama.

Saya tahu ini sudah diterima tetapi sudahkah Anda mempertimbangkan untuk membawa disk ke pusat data / penyedia / host tempat Anda bisa mendapatkan lebih banyak bandwidth? Mungkin akan dikenakan biaya sejumlah uang tetapi menyalin 10240Gb ke disk cadangan dan pengiriman juga akan menghabiskan waktu dan uang (2 x uang).

Anda juga akan memastikan disk Anda tidak rusak saat diangkut.

11Mbps? Ini adalah batasan yang Anda miliki di sini. Dalam situasi Anda, saya hanya akan:

• Mengkloning data
• Kompreslah
• Sewa server di kedua ujungnya dengan bandwidth minimal 10 kali lebih banyak (di pusat data yang sama atau di ujung Anda di pusat data di dekat Anda).
• Transfer file
• Terapkan data ke server baru.

Jika Anda benar-benar tidak punya solusi untuk meningkatkan bandwidth ... Maka pengiriman drive fisik akan jauh lebih cepat.

Dari pengalaman menyakitkan saya, hard drive cenderung rusak ... USB flash drive adalah solusi yang lebih baik untuk transfer data yang sering. Dalam kasus Anda itu akan memerlukan beberapa dari mereka :) Jadi, kirim 2 salinan data Anda pada beberapa hard drive.

Mengingat jumlah data yang Anda miliki, Anda juga dapat mengirim drive dari array RAID 5 atau RAID 6 jika Anda memiliki perangkat keras / perangkat lunak yang sama di sisi lain untuk menyambungkan drive Anda. Tetapi jika demikian ingatlah untuk menandai urutan drive Anda. dan nomor seri mereka sehingga ketika mengkonfigurasi ulang mereka tidak tercampur aduk.

Sementara saya harus menyetujui jawaban "kirim menggunakan harddisk" dalam kasus ini, di sini solusi salin yang saya gunakan ketika saya harus menyalin sejumlah besar file untuk pertama kalinya:

Meskipun rsyncbaik untuk menjaga dua penyimpanan data tetap sinkron, ini memperkenalkan sedikit overhead yang tidak perlu untuk transfer awal. Saya pikir cara tercepat adalah tarmenyalurkannya netcat. Di situs penerima Anda juga dapat menggunakan netcatdalam mode mendengarkan yang menyalurkan data yang masuk ke ekstraksi tar. Keuntungannya adalah tarmulai mengirim segera dan netcatmengirimkannya sebagai aliran TCP polos tanpa overhead protokol tingkat lebih tinggi. Ini harus secepat yang didapat. Namun, tidak mudah untuk memulai kembali transfer yang terputus di posisi terakhir.

Juga dimungkinkan untuk mengompres data untuk transfer dengan menggunakan taropsi yang tepat atau menambahkan alat kompresi di dalam pipa. Catatan yang netcatmengirim tanggal tidak terenkripsi. Dalam kasus di mana ini bukan opsi, sshkoneksi terenkripsi dapat digunakan sebagai gantinya ( tar <options> | ssh <target> -c 'tar -x <options>').

Jika semua data ditransfer rsyncdapat digunakan untuk memastikan bahwa semua file yang diperbarui sementara disinkronkan. Selain itu IIRC tartidak membuat soket yang akan hilang jika tidak, tetapi mereka tidak benar-benar digunakan untuk data pusat data.

Sudahkah Anda mempertimbangkan IPoAC ?

Seekor merpati tunggal mungkin dapat membawa puluhan gigabyte data dalam waktu sekitar satu jam, yang secara rata-rata bandwidth membandingkan dengan standar ADSL saat ini, bahkan ketika menghitung drive yang hilang.

Sekali lagi, saran pertama adalah mengirimkan drive.

Saran kedua adalah menggunakan rsync ke rsyncd, bukan melalui SSH. Saya sudah mencoba banyak hal dan biasanya yang tercepat. Ingatlah untuk mengaktifkan kompresi. Juga, lihat menambah atau mengurangi ukuran buffer rsync untuk mendapatkan kecepatan transfer yang optimal. Mungkin juga membantu meningkatkan ukuran MTU Anda . Ini hanya membantu jika router dalam perjalanan tidak memecah-pecah paket Anda. Ada cara untuk menentukan apakah mereka melakukannya.

Sayangnya tidak ada pengaturan yang selalu yang terbaik. Anda harus bereksperimen untuk mencari tahu apa yang paling sesuai dengan situasi Anda.

Anda menyebutkan server menjalankan Windows 2008. Apakah Microsoft DFS cocok? Ada beberapa keajaiban di ujung bawah yang mencoba untuk mendapatkan bandwidth sebanyak mungkin dari koneksi, dan juga memiliki kompresi dan de-duplikasi (IIRC).

Pikiran Anda, hard drive, DVD atau BluRays akan lebih cepat ... Perhitungan saya adalah 11 hari pada penuh 11 MB / s ...

Anda dapat menggunakan torrent untuk ini.

Buat torrent pribadi di satu ujung dan gunakan klien di sisi lain.

Meskipun ada enkripsi di tempat Anda harus memeriksa dengan persyaratan Anda.