Apakah lebih efisien untuk rsync data teks yang tidak terkompresi atau data yang sama gzip?


3

Rsync hanya menyalin pada bagian file yang diubah. Jadi jika saya memiliki dump data besar, misalnya database SQL dalam format teks, dan saya ingin menyalinnya ke mesin lokal saya menggunakan bandwidth sesedikit mungkin, apa yang harus saya lakukan?

Saya bisa membiarkannya sebagai teks yang tidak terkompresi dan menggunakan rsync dengan -z switch, atau saya bisa gzip di server dan rsync file gzip.

Kecurigaan saya adalah bahwa perubahan kecil pada file teks sumber SQL dapat mengakibatkan pengocokan data yang lebih besar dalam versi gzip terkompresi, jadi rsync harus melakukan lebih banyak pekerjaan karena lebih banyak file telah berubah.

Juga, karena saklar -z melakukan kompresi, ini bisa menjadi yang paling efisien. Namun, saya tidak yakin.


Saya tertarik melihat perbandingan menggunakan gzip --rsyncable
Brian Minton

Jawaban:


4

Saya telah melalui proses formal untuk memeriksa ini beberapa tahun yang lalu. Saya perlu menyalin dump cadangan MS-SQL dari (30!) Kantor regional ke HQ melalui VPN berbasis broadband dan saya mencoba semua permutasi kompresi dan non-kompresi.

Dalam hal ini, tidak terkompresi file yang ditransfer menggunakan rsync tercepat dengan kompresi sendiri. Ukuran file biasanya 4-9GB data yang dibuang dan beberapa dari mereka akan disinkronkan dalam beberapa menit.

Jika dump data dikompresi, rsync cukup banyak mentransfer seluruh file setiap kali dan ini memakan waktu berjam-jam.

Ada baiknya melakukan beberapa tes dengan data Anda, tetapi saya kira Anda akan menemukan yang terbaik untuk meninggalkan file karena untuk rsync untuk memilah.


1

Tebakan Anda kemungkinan besar benar, lebih baik hanya kompres bagian yang diubah.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.