Saya mencoba melakukan hitungan catatan pada file gzip 7,6 GB. Saya menemukan beberapa pendekatan menggunakan zcatperintah.

$ zcat T.csv.gz | wc -l
423668947

Ini berfungsi tetapi butuh terlalu banyak waktu (lebih dari 10 menit untuk menghitungnya). Saya mencoba beberapa pendekatan seperti

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

Ketiga perintah ini menjalankan cukup cepat tetapi memberikan hitungan yang salah dari 28173811.

Bagaimana saya bisa melakukan penghitungan catatan dalam jumlah waktu minimal?

Perintah sed, perldan awkyang Anda sebutkan mungkin benar, tetapi mereka semua membaca data yang dikompresi dan menghitung karakter baris baru di dalamnya. Karakter baris baru ini tidak ada hubungannya dengan karakter baris baru dalam data yang tidak terkompresi.

Untuk menghitung jumlah baris dalam data yang tidak dikompresi, tidak ada jalan lain untuk mengompresnya. Pendekatan Anda dengan zcatadalah pendekatan yang benar dan karena datanya sangat besar, akan membutuhkan waktu untuk mengompresnya.

Sebagian besar utilitas yang berhubungan dengan gzipkompresi dan dekompresi kemungkinan besar akan menggunakan rutinitas shared library yang sama untuk melakukannya. Satu-satunya cara untuk mempercepatnya adalah dengan menemukan implementasi dari zlibrutinitas yang entah bagaimana lebih cepat daripada yang default, dan membangun kembali mis zcatuntuk menggunakannya.

Gunakan unpigz.

Jawabannya Kusalananda adalah benar, Anda akan perlu untuk uncompress bahwa seluruh file untuk memindai isinya. /bin/gunzipmelakukan ini secepat mungkin, pada satu inti. Pigz adalah implementasi paralel gzipyang dapat menggunakan banyak core.

Sayangnya, dekompresi itu sendiri dari file gzip normal tidak bisa diparalelkan, tapi pigzmemang menawarkan versi perbaikan dari gunzip, unpigz, yang melakukan pekerjaan terkait seperti membaca, menulis, dan menghitung checksum di thread terpisah. Dalam beberapa tolok ukur cepat, unpigzhampir dua kali lebih cepat gunzipdari pada mesin i5 inti saya.

Instal pigzdengan pengelola paket favorit Anda, dan gunakan unpigzsebagai ganti gunzip, atau unpigz -calih-alih zcat. Jadi perintah Anda menjadi:

$ unpigz -c T.csv.gz | wc -l

Semua ini mengasumsikan bottleneck adalah CPU, bukan disk, tentu saja.

Masalah dengan semua pipa adalah bahwa Anda pada dasarnya menggandakan pekerjaan. Tidak peduli seberapa cepat dekompresi itu, data masih harus di-shuttled ke proses lain.

Perl memiliki PerlIO :: gzip yang memungkinkan Anda untuk membaca stream gzip secara langsung. Oleh karena itu, itu mungkin menawarkan keuntungan bahkan jika kecepatan dekompresi mungkin tidak cocok dengan unpigz:

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

Saya mencobanya dengan file terkompresi 13 MB gzip (didekompresi menjadi 1,4 GB) pada 2010 MacBook Pro lama dengan 16 GB RAM dan ThinkPad T400 lama dengan 8 GB RAM dengan file yang sudah ada dalam cache. Di Mac, skrip Perl secara signifikan lebih cepat daripada menggunakan saluran pipa (5 detik vs 22 detik), tetapi pada ArchLinux, ia kalah karena unpigz:

$ time -p ./gzlc.pl spy.gz 
1154737
nyata 4.49
pengguna 4.47
sys 0,01

melawan

$ time -p unpigz -c spy.gz | wc -l
1154737
nyata 3.68
pengguna 4.10
sys 1.46

dan

$ time -p zcat spy.gz | wc -l
1154737
nyata 6.41
pengguna 6.08
sys 0,86

Jelas, menggunakan unpigz -c file.gz | wc -ladalah pemenang di sini baik dari segi kecepatan. Dan, baris perintah sederhana itu pasti mengalahkan penulisan program, betapapun pendeknya.

Jawaban Kusalananda sebagian besar benar. Untuk menghitung garis, Anda perlu mencari baris baru. Namun secara teori dimungkinkan untuk mencari baris baru tanpa sepenuhnya mengompres file.

gzip menggunakan kompresi DEFLATE. DEFLATE adalah kombinasi dari pengkodean LZ77 dan Huffman. Mungkin ada cara untuk mencari tahu hanya simbol simbol Huffman untuk baris baru dan mengabaikan sisanya. Hampir pasti ada cara untuk mencari baris baru yang dikodekan menggunakan L277, menyimpan jumlah byte dan mengabaikan yang lainnya.

Jadi IMHO secara teoritis dimungkinkan untuk menghasilkan solusi yang lebih efisien daripada unpigz atau zgrep. Itu dikatakan tidak praktis (kecuali seseorang telah melakukannya).

Dapat dilakukan zgrepdengan menggunakan -cflag, dan $parameter.

Dalam hal ini -c menginstruksikan perintah untuk menampilkan jumlah baris yang cocok dan $ regex cocok dengan akhir baris sehingga cocok dengan setiap baris atau file.

zgrep -c $ T.csv.gz 

Seperti yang dikomentari oleh @ StéphaneChazelas - zgrephanya sebuah skrip di sekitar zcatdan grepdan itu harus memberikan kinerja yang mirip dengan saran asli darizcat | wc -l

Seperti yang Anda lihat, sebagian besar jawaban mencoba untuk mengoptimalkan apa yang dapat dilakukan: jumlah konteks beralih dan IO antar-proses. Alasannya, ini adalah satu-satunya yang dapat Anda optimalkan dengan mudah di sini.

Sekarang masalahnya adalah bahwa kebutuhan sumber dayanya hampir dapat diabaikan untuk kebutuhan sumber daya dekompresi. Inilah sebabnya mengapa optimasi tidak akan benar-benar membuat sesuatu lebih cepat.

Di mana itu bisa benar-benar dipercepat, itu akan menjadi algoritma un-gzip (yaitu dekompresi) yang dimodifikasi, yang meninggalkan produksi aktual dari aliran data yang terkompresi; melainkan hanya menghitung jumlah baris baru dalam aliran yang dikompresi dari yang terkompresi . Akan sulit, itu akan membutuhkan pengetahuan yang mendalam tentang algoritma gzip (beberapa kombinasi dari algoritma kompresi LZW dan Huffman ). Sangat mungkin, bahwa algoritma tidak memungkinkan untuk secara signifikan mengoptimalkan waktu dekompresi dengan keringanan, bahwa kita hanya perlu mengetahui jumlah baris baru. Bahkan jika itu mungkin, pada dasarnya pustaka dekompresi gzip baru seharusnya dikembangkan (tidak ada sebelum diketahui).

Jawaban realistis untuk pertanyaan Anda adalah, tidak, Anda tidak dapat membuatnya lebih cepat secara signifikan.

Mungkin Anda dapat menggunakan beberapa dekompresi gzip paralel, jika ada. Itu bisa menggunakan beberapa core CPU untuk dekompresi. Jika tidak ada, itu bisa relatif mudah dikembangkan.

Untuk xz , ada kompresor paralel (pxz).