Grep sejumlah besar pola dari file besar

Saya memiliki file yang bertambah sekitar 200.000 baris sehari, dan semuanya terbentuk dengan blok tiga baris seperti itu:

1358726575123       # key
    Joseph Muller   # name
    carpenter       # job
9973834728345
    Andres Smith
    student
7836472098652
    Mariah Anthony
    dentist

Sekarang, saya memiliki file lain dari mana saya mengekstrak sekitar 10.000 pola kunci, seperti 1358726575123. Kemudian saya menjalankan forloop dengan pola-pola ini dan harus memeriksanya terhadap file pertama. Jika file tidak mengandung pola seperti itu, saya menyimpan pola di file ketiga untuk diproses lebih lanjut:

for number in $(grep -o '[0-9]\{12\}' file2); do  # finds about 10.000 keys
     if ! grep -q ^$number$ file1; then           # file1 is a huge file
         printf "$number\n" >>file3               # we'll process file3 later
     fi
done

Kode contoh menangkap sebuah file besar 10.000 kali, dan saya menjalankan loop ini sekitar satu menit sekali, sepanjang hari .

Karena file besar terus bertambah, apa yang bisa saya lakukan untuk membuat semua ini lebih cepat dan menghemat CPU? Saya ingin tahu apakah menyortir file dengan kuncinya (jika demikian, bagaimana?) Atau menggunakan db sebagai ganti teks biasa akan membantu ...

Jawaban ini didasarkan pada awkjawaban yang diposting oleh potong ..
Ini dua kali lebih cepat dari commmetode (pada sistem saya), untuk 6 juta baris yang sama dalam file-utama dan 10 ribu kunci ... (sekarang diperbarui untuk menggunakan FNR, NR)

Meskipun awklebih cepat dari sistem Anda saat ini, dan akan memberi Anda dan komputer Anda ruang bernapas, ketahuilah bahwa ketika pemrosesan data sekuat yang Anda jelaskan, Anda akan mendapatkan hasil keseluruhan terbaik dengan beralih ke basis data khusus; misalnya. SQlite, MySQL ...

awk '{ if (/^[^0-9]/) { next }              # Skip lines which do not hold key values
       if (FNR==NR) { main[$0]=1 }          # Process keys from file "mainfile"
       else if (main[$0]==0) { keys[$0]=1 } # Process keys from file "keys"
     } END { for(key in keys) print key }' \
       "mainfile" "keys" >"keys.not-in-main"

# For 6 million lines in "mainfile" and 10 thousand keys in "keys"

# The awk  method
# time:
#   real    0m14.495s
#   user    0m14.457s
#   sys     0m0.044s

# The comm  method
# time:
#   real    0m27.976s
#   user    0m28.046s
#   sys     0m0.104s

Masalahnya, tentu saja, adalah Anda menjalankan grep pada file besar 10.000 kali. Anda harus membaca kedua file hanya sekali. Jika Anda ingin tetap berada di luar bahasa skrip, Anda dapat melakukannya dengan cara ini:

1. Ekstrak semua angka dari file 1 dan urutkan
2. Ekstrak semua angka dari file 2 dan urutkan
3. Jalankan commpada daftar yang diurutkan untuk mendapatkan apa yang ada di daftar kedua

Sesuatu seperti ini:

$ grep -o '^[0-9]\{12\}$' file1 | sort -u -o file1.sorted
$ grep -o  '[0-9]\{12\}'  file2 | sort -u -o file2.sorted
$ comm -13 file1.sorted file2.sorted > file3

Lihat man comm.

Jika Anda dapat memotong file besar setiap hari (seperti file log), Anda dapat menyimpan cache nomor yang diurutkan dan tidak perlu menguraikannya setiap saat.

Ya, pasti menggunakan database. Mereka dibuat persis untuk tugas-tugas seperti ini.

Ini mungkin bekerja untuk Anda:

 awk '/^[0-9]/{a[$0]++}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

EDIT:

Skrip yang diubah untuk memungkinkan duplikat dan kunci tidak dikenal di kedua file, masih menghasilkan kunci dari file pertama yang tidak ada di file kedua:

 awk '/^[0-9]/{if(FNR==NR){a[$0]=1;next};if($0 in a){a[$0]=2}}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

Dengan data sebanyak itu, Anda harus benar-benar beralih ke database. Sementara itu, satu hal yang harus Anda lakukan untuk mencapai kinerja yang layak adalah tidak mencari file1secara terpisah untuk setiap kunci. Jalankan tunggal grepuntuk mengekstrak semua kunci yang tidak dikecualikan sekaligus. Karena itu grepjuga mengembalikan garis yang tidak mengandung kunci, filter itu.

grep -o '[0-9]\{12\}' file2 |
grep -Fxv -f - file1 |
grep -vx '[0-9]\{12\}' >file3

( -FxBerarti mencari seluruh baris, secara harfiah -f -berarti membaca daftar pola dari input standar.)

Ijinkan saya untuk memperkuat apa yang dikatakan orang lain, "Bawalah kamu ke database!"

Ada binari MySQL yang tersedia secara bebas untuk sebagian besar platform.

Kenapa tidak SQLite? Berbasis memori, memuat flat-file saat Anda memulainya, lalu menutupnya setelah Anda selesai. Ini berarti bahwa jika komputer Anda rusak atau proses SQLite hilang, demikian juga semua data.

Masalah Anda terlihat seperti hanya beberapa baris SQL, dan akan berjalan dalam milidetik!

Setelah menginstal MySQL (yang saya sarankan di atas pilihan lain), saya akan mengeluarkan $ 40 untuk SQL Cookbook O'Reilly dari Anthony Molinaro, yang memiliki banyak pola masalah, mulai dengan SELECT * FROM tablepertanyaan sederhana , dan melalui agregat dan beberapa gabungan.

Saya tidak yakin apakah ini adalah hasil persis yang Anda cari, tetapi mungkin cara termudah adalah:

grep -o '[0-9]\{12\}' file2 | sed 's/.*/^&$/' > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

Anda juga bisa menggunakan:

sed -ne '/.*\([0-9]\{12\}.*/^\1$/p' file2 > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

Masing-masing membuat file pola sementara yang digunakan untuk mengumpulkan angka-angka dari file besar ( file1).

Saya sepenuhnya setuju dengan Anda mendapatkan database (MySQL cukup mudah digunakan). Sebelum Anda menjalankannya, saya menyukai commsolusi Angus , tetapi begitu banyak orang yang mencoba grepdan membuat kesalahan sehingga saya pikir saya akan menunjukkan (atau setidaknya satu) cara yang benar untuk melakukannya grep.

grep -o '[0-9]\{12\}' keyfile | grep -v -f <(grep -o '^[0-9]\{12\}' bigfile) 

Yang pertama grepmendapatkan kunci. Yang ketiga grep(di <(...)) mengambil semua kunci yang digunakan dalam file besar, dan <(...)melewati seperti file sebagai argumen -fdalam grep kedua. Itu menyebabkan yang kedua grepmenggunakannya sebagai daftar garis yang cocok. Ini kemudian menggunakan ini untuk mencocokkan inputnya (daftar kunci) dari pipa (pertama grep), dan mencetak semua kunci yang diekstrak dari file kunci dan bukan ( -v) file besar.

Tentu saja Anda dapat melakukan ini dengan file sementara Anda harus melacak dan ingat untuk menghapus:

grep -o '[0-9]\{12\}'  keyfile >allkeys
grep -o '^[0-9]\{12\}' bigfile >usedkeys
grep -v -f usedkeys allkeys

Ini mencetak semua baris allkeysyang tidak muncul di usedkeys.

File key tidak berubah? Maka Anda harus menghindari mencari entri lama lagi dan lagi.

Dengan tail -fAnda bisa mendapatkan output dari file yang sedang tumbuh.

tail -f growingfile | grep -f keyfile 

grep -f membaca pola dari file, satu baris sebagai pola.

Tidak akan memposting jawaban saya karena saya pikir jumlah data seperti itu tidak boleh diproses dengan skrip shell, dan jawaban yang tepat untuk menggunakan database sudah diberikan. Namun sejak sekarang ada 7 pendekatan lain ...

Membaca file pertama dalam memori, lalu mencari file kedua untuk angka dan memeriksa apakah nilai disimpan dalam memori. Seharusnya lebih cepat dari beberapa greps, jika Anda memiliki cukup memori untuk memuat seluruh file, yaitu.

declare -a record
while read key
do
    read name
    read job
    record[$key]="$name:$job"
done < file1

for number in $(grep -o '[0-9]\{12\}' file2)
do
    [[ -n ${mylist[$number]} ]] || echo $number >> file3
done

Saya setuju dengan @ jan-steinman bahwa Anda harus menggunakan database untuk tugas semacam ini. Ada banyak cara untuk meretas bersama solusi dengan skrip shell seperti jawaban lain tunjukkan, tetapi melakukannya dengan cara itu akan menyebabkan banyak kesengsaraan jika Anda akan menggunakan dan memelihara kode untuk jangka waktu lebih lama daripada hanya proyek membuang satu hari.

Dengan asumsi Anda berada di kotak Linux maka kemungkinan besar Anda telah menginstal Python secara default yang mencakup pustaka sqlite3 pada Python v2.5. Anda dapat memeriksa versi Python Anda dengan:

% python -V
Python 2.7.2+

Saya sarankan menggunakan pustaka sqlite3 karena ini adalah solusi berbasis file sederhana yang ada untuk semua platform (termasuk di dalam browser web Anda!) Dan tidak memerlukan server untuk diinstal. Pada dasarnya nol-konfigurasi dan nol-pemeliharaan.

Di bawah ini adalah skrip python sederhana yang akan mem-parsing format file yang Anda berikan sebagai contoh dan kemudian melakukan kueri "pilih semua" sederhana dan hasilkan semua yang disimpan dalam db.

#!/usr/bin/env python

import sqlite3
import sys

dbname = '/tmp/simple.db'
filename = '/tmp/input.txt'
with sqlite3.connect(dbname) as conn:
    conn.execute('''create table if not exists people (key integer primary key, name text, job text)''')
    with open(filename) as f:
        for key in f:
            key = key.strip()
            name = f.next().strip()
            job = f.next().strip()
            try:
                conn.execute('''insert into people values (?,?,?)''', (key, name, job))
            except sqlite3.IntegrityError:
                sys.stderr.write('record already exists: %s, %s, %s\n' % (key, name, job))
    cur = conn.cursor()

    # get all people
    cur.execute('''select * from people''')
    for row in cur:
        print row

    # get just two specific people
    person_list = [1358726575123, 9973834728345]
    cur.execute('''select * from people where key in (?,?)''', person_list)
    for row in cur:
        print row

    # a more general way to get however many people are in the list
    person_list = [1358726575123, 9973834728345]
    template = ','.join(['?'] * len(person_list))
    cur.execute('''select * from people where key in (%s)''' % (template), person_list)
    for row in cur:
        print row

Ya, ini berarti Anda harus belajar beberapa SQL , tetapi itu akan sangat bermanfaat dalam jangka panjang. Selain itu, alih-alih mem-parsing file log Anda, mungkin Anda bisa menulis data langsung ke database sqlite Anda.