Membalikkan grepping

Katakanlah, saya memiliki file teks yang sangat besar (sekitar 10.000.000 baris). Saya perlu grepdari awal dan menyimpan hasilnya ke file. Apa cara paling efisien untuk menyelesaikan tugas?

Solusi tac / grep

tac file | grep whatever

Atau sedikit lebih efektif:

grep whatever < <(tac file)

Waktu dengan file 500MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

Solusi sed / grep :

sed '1!G;h;$!d' | grep whatever

Waktu dengan file 500MB: Dibatalkan setelah 10+ menit.

Solusi awk / grep :

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Waktu dengan file 500MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

Solusi perl / grep :

perl -e 'print reverse <>' file | grep whatever

Waktu dengan file 500MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Solusi ini mungkin membantu:

tac file_name | grep -e expression

Yang ini keluar segera setelah menemukan kecocokan pertama:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Berikut ini memberikan 5 baris sebelum dan setelah dua pertandingan pertama:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Ingatlah untuk tidak menggunakan -i(case sensitive) kecuali Anda harus karena itu akan memperlambat grep.

Jika Anda tahu string yang tepat yang Anda cari, pertimbangkan fgrep(Fixed String)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Jika file tersebut sangat besar, tidak dapat disimpan dalam memori, saya akan menggunakan Perldengan File :: ReadBackwards modul dari CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Kemudian:

$ ./reverse-grep.pl pattern file