Apakah mungkin untuk mengompres file yang sangat besar (~ 30 GB) menggunakan gzip? Jika demikian, perintah, sakelar, dan opsi apa yang harus saya gunakan?
Atau ada program lain (lebih disukai yang biasanya tersedia di distribusi Ubuntu) yang dapat saya gunakan untuk kompres / zip file yang sangat besar? Apakah Anda punya pengalaman dengan ini?
Jawaban:
AFAIK tidak ada batasan ukuran untuk gzip- setidaknya tidak 30GB. Tentu saja, Anda memerlukan ruang untuk file zip pada disk Anda, kedua versi akan ada di sana secara bersamaan saat mengompresi.
bzip2 kompres file (tidak hanya yang besar :-) lebih baik, tetapi itu (kadang-kadang banyak) lebih lambat.
pbzipjuga - yang akan menggunakan lebih dari satu CPU-core. Tapi masih jauh lebih lambat gzip.
pbzip2
jika Anda membutuhkan tingkat kompresi yang baik, Anda dapat mencoba lzma. lebih cepat dan lebih efisien daripada bzip2 dan mungkin lebih cepat bahkan daripada gzip (saya tidak tahu pasti)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmasudah usang xzsekarang. Algoritma yang sama, format file yang agak berbeda (ditingkatkan?) Melilitnya. LZMA lebih lambat dari gzip, tetapi pada kecepatan maksimal itu masih kompresi yang cukup baik pada hal-hal yang sangat berlebihan seperti data JSON. ( xz -0)
Format gzip mewakili ukuran input modulo 2 ^ 32, sehingga
--listopsi melaporkan ukuran yang tidak terkompresi dan rasio kompresi yang salah untuk file yang tidak terkompresi 4 GB dan lebih besar.
Jadi, ambil bzip2(v1.0.2 dan lebih tinggi) atau xz.
XZ yang diatur ke kompresi terendah mungkin mengalahkan gzip untuk kecepatan dan kompresi.
pxz -9ve - <in >out.xzdan Anda akan memanggang ayam di PC Anda, tetapi hasilnya akan sekitar 60% dari hasil gzip. Anda membutuhkan sekitar 7 GB untuk itu.