Bagaimana cara mengompres data zlib di UNIX?

Saya telah membuat data yang dikompresi zlib dengan Python, seperti ini:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(atau satu-liner shell: echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Sekarang, saya ingin mengompres data dalam shell. Tidak zcatjuga tidak uncompressberfungsi:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Tampaknya saya telah membuat file seperti gzip, tetapi tanpa header. Sayangnya saya tidak melihat opsi untuk mengompres data mentah seperti itu di halaman manual gzip, dan paket zlib tidak mengandung utilitas yang dapat dieksekusi.

Apakah ada utilitas untuk mengompresi data zlib mentah?

Dimungkinkan juga untuk mendekompresnya menggunakan shell-script + gzip standar , jika Anda tidak punya, atau ingin menggunakan openssl atau alat lain.
Caranya adalah dengan menambahkan angka ajaib gzip dan metode kompres ke data aktual dari zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Suntingan:
@ d0sboots berkomentar: Untuk data RAW Deflate, Anda perlu menambahkan 2 byte null lagi:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

Q on SO ini memberikan informasi lebih lanjut tentang pendekatan ini. Jawaban di sana menunjukkan bahwa ada juga 8 byte footer.

Users @ Vitali-Kushner dan @ mark-bessey melaporkan keberhasilan bahkan dengan file yang terpotong, jadi gzip footer sepertinya tidak diperlukan sepenuhnya.

@ tobias-kienzler menyarankan fungsi ini untuk bashrc :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

Pengguna @tino berkomentar di bawah jawaban OpenSSL tapi saya pikir ini harus terpisah:

zlib-flate -uncompress < FILE

Saya mencoba ini dan itu berhasil untuk saya.

zlib-flatedapat ditemukan dalam paket qpdf(di Debian Squeeze dan Fedora 23, sesuai dengan komentar di jawaban lain)

Saya telah menemukan solusi (salah satu yang mungkin), menggunakan openssl :

$ openssl zlib -d < /tmp/data

atau

$ openssl zlib -d -in /tmp/data

* CATATAN: fungsionalitas zlib tampaknya tersedia dalam versi openssl terbaru> = 1.0.0 (OpenSSL harus dikonfigurasi / dibangun dengan opsi zlib atau zlib-dinamis, yang terakhir adalah default)

Saya merekomendasikan pigz dari Mark Adler , rekan penulis perpustakaan kompresi zlib. Jalankan pigzuntuk melihat bendera yang tersedia.

Anda akan melihat:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Anda dapat membuka kompresi menggunakan -dflag:

-d --decompress --uncompress Decompress the compressed input.

Dengan asumsi file bernama 'test':

• pigz -z test - membuat file terkompresi zlib bernama test.zz
• pigz -d -z test.zz - Mengonversi test.zz ke file tes yang didekompresi

Pada OSX Anda dapat menjalankan brew install pigz

zlibmengimplementasikan kompresi yang digunakan oleh gzip, tetapi bukan format file. Sebagai gantinya, Anda harus menggunakan gzipmodul , yang digunakan sendiri zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Ini mungkin melakukannya:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Kemudian jalankan seperti ini:

$ python expander.py data/*

Contoh program yang zpipe.c ditemukan di sini oleh Mark Adler sendiri (dilengkapi dengan distribusi sumber perpustakaan zlib) sangat berguna untuk skenario ini dengan data mentah zlib. Mengkompilasi dengan cc -o zpipe zpipe.c -lzdan untuk dekompresi: zpipe -d < raw.zlib > decompressed. Bisa juga melakukan kompresi tanpa -dflag.

Pada macOS, yang merupakan UNIX compliant penuh UNIX (bersertifikat resmi!), Tidak OpenSSLmemiliki zlibdukungan, tidak ada yang zlib-flatebaik dan sementara solusi pertama bekerja serta semua solusi Python, solusi pertama membutuhkan data ZIP berada dalam file dan semua solusi lain memaksa Anda untuk membuat skrip Python.

Inilah solusi berbasis Perl yang dapat digunakan sebagai command-line one-liner, mendapatkan inputnya melalui pipa STDIN dan yang bekerja di luar kotak dengan macOS yang baru diinstal:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

Lebih bagus diformat, skrip Perl terlihat seperti ini:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Anda dapat menggunakan ini untuk kompres dengan zlib:

openssl enc -z -none -e < /file/to/deflate

Dan ini untuk mengempis:

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

bekerja untuk saya di fedora25