Saya baru saja melakukan percobaan kecil di mana saya membuat arsip tar dengan file duplikat untuk melihat apakah itu akan dikompresi, saya kagum, ternyata tidak! Detail mengikuti (hasil indentasi untuk kesenangan membaca):

$ dd if=/dev/urandom bs=1M count=1 of=a
  1+0 records in
  1+0 records out
  1048576 bytes (1.0 MB) copied, 0.114354 s, 9.2 MB/s
$ cp a b
$ ln a c
$ ll
  total 3072
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 a
  -rw-r--r-- 1 guido guido 1048576 Sep 24 15:51 b
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 c
$ tar -c * -f test.tar
$ ls -l test.tar 
  -rw-r--r-- 1 guido guido 2109440 Sep 24 15:51 test.tar
$ gzip test.tar 
$ ls -l test.tar.gz 
  -rw-r--r-- 1 guido guido 2097921 Sep 24 15:51 test.tar.gz
$ 

Pertama saya membuat file data acak 1MiB (a). Kemudian saya menyalinnya ke file b dan juga menghubungkannya dengan c. Saat membuat tarball, tar tampaknya menyadari hardlink, karena tarball hanya ~ 2MiB dan bukan ~ 3Mib.

Sekarang saya berharap gzip mengurangi ukuran tarball menjadi ~ 1MiB karena a dan b adalah duplikat, dan harus ada 1MiB data kontinu diulang di dalam tarball, namun ini tidak terjadi.

Kenapa ini? Dan bagaimana saya bisa mengompres tarball secara efisien dalam kasus ini?

Gzip gzip didasarkan pada algoritma DEFLATE, yang merupakan kombinasi dari kode LZ77 dan Huffman. Ini adalah algoritma kompresi data lossless yang bekerja dengan mengubah aliran input menjadi simbol terkompresi menggunakan kamus yang dibuat saat itu juga dan menonton duplikat. Tetapi tidak dapat menemukan duplikat yang dipisahkan oleh lebih dari 32 ribu. Mengharapkannya menemukan duplikat 1MB terpisah tidak realistis.

Nicole Hamilton dengan benar mencatat bahwa gziptidak akan menemukan data duplikat yang jauh karena ukuran kamusnya yang kecil.

bzip2 mirip, karena terbatas pada memori 900 KB.

Sebagai gantinya, cobalah:

Algoritma LZMA / LZMA2 ( xz, 7z)

Algoritma LZMA berada dalam keluarga yang sama dengan Deflate, tetapi menggunakan ukuran kamus yang jauh lebih besar (dapat disesuaikan; standarnya kira-kira 384 MB). The xzutilitas, yang harus diinstal secara default pada kebanyakan distro Linux terbaru, mirip dengan gzipdan menggunakan LZMA.

Karena LZMA mendeteksi redundansi jarak yang lebih jauh, LZMA akan dapat menduplikasi data Anda di sini. Namun, ini lebih lambat dari Gzip.

Pilihan lain adalah 7-zip ( 7z, dalam p7zippaket), yang merupakan pengarsipan (daripada kompresor aliran tunggal) yang menggunakan LZMA secara default (ditulis oleh penulis LZMA). Pengarsip 7-zip menjalankan deduplikasi sendiri di tingkat file (melihat file dengan ekstensi yang sama) ketika pengarsipan ke .7zformatnya. Ini berarti bahwa jika Anda bersedia untuk mengganti tardengan 7z, Anda mendapatkan file identik deduplicated. Namun, 7z tidak mempertahankan stempel waktu nanodetik, izin, atau xattr, sehingga mungkin tidak sesuai dengan kebutuhan Anda.

lrzip

lrzipadalah kompresor yang memproses data untuk menghilangkan redundansi jarak jauh sebelum memasukkannya ke algoritma konvensional seperti Gzip / Deflate, bzip2, lzop, atau LZMA. Untuk data sampel yang Anda berikan di sini, itu tidak perlu; ini berguna untuk saat input data lebih besar dari apa yang dapat ditampung dalam memori.

Untuk jenis data ini (duplikat potongan yang tidak dapat dikompres), Anda harus menggunakan lzopkompresi (sangat cepat) dengan lrzip, karena tidak ada manfaatnya untuk berusaha lebih keras untuk mengompresi data yang benar-benar acak setelah data itu didupuplikasi.

Bup dan Obnam

Karena Anda menandai cadangan pertanyaan , jika tujuan Anda di sini mencadangkan data, pertimbangkan untuk menggunakan program cadangan deduplicating seperti Bup atau Obnam .

Dalam hal cadangan, mungkin dengan sekumpulan file yang lebih kecil, satu trik yang mungkin bisa dilakukan untuk Anda adalah mengurutkan file dalam tar dengan ekstensi:

find archive_dir -type f | rev | sort | rev | tar czf my_archive.tar.gz -I -

gziptidak akan menemukan duplikat, bahkan xzdengan ukuran kamus yang besar tidak akan menemukan. Apa yang dapat Anda lakukan adalah menggunakan mksquashfs- ini memang akan menghemat ruang duplikat.

Beberapa hasil pengujian cepat dengan xzdan mksquashfsdengan tiga file biner acak (64MB) yang keduanya sama:

Mendirikan:

mkdir test
cd test
dd if=/dev/urandom of=test1.bin count=64k bs=1k
dd if=/dev/urandom of=test2.bin count=64k bs=1k
cp test{2,3}.bin
cd ..

Squashfs:

mksquashfs test/ test.squash
> test.squash - 129M

xz:

XZ_OPT='-v --memlimit-compress=6G --memlimit-decompress=512M --lzma2=preset=9e,dict=512M --extreme -T4 ' tar -cJvf test.tar.xz test/
> test.tar.xz - 193M

Pada sistem saya lzma test.tarmenghasilkan file test.tar.lzma 106'3175 byte (1,1M)

Sebagai tambahan untuk jawaban 'keong mekanik':

Bahkan xz (atau lzma) tidak akan menemukan duplikat jika ukuran file dari file tunggal terkompresi (atau, lebih tepatnya, jarak antara duplikat) melebihi ukuran kamus. xz (atau lzma) bahkan pada pengaturan tertinggi -9ehanya mencadangkan 64MB untuk ini.

Untungnya Anda dapat menentukan ukuran kamus Anda sendiri dengan opsi --lzma2=dict=256MB (hanya --lzma1=dict=256MBdiizinkan saat menggunakan lzma alias ke perintah)

Sayangnya, ketika mengesampingkan pengaturan dengan rantai kompresi khusus seperti yang diberikan dalam contoh di atas, nilai default untuk semua parameter lainnya tidak diatur ke level yang sama dengan -9e. Jadi kepadatan kompresi tidak setinggi untuk file tunggal.

gzip tanpa saklar baris perintah menggunakan algoritma kompresi yang serendah mungkin.

Coba gunakan:

gzip -9 test.tar

Anda harus mendapatkan hasil yang lebih baik