grep: memori habis

Saya melakukan pencarian yang sangat sederhana:

grep -R Milledgeville ~/Documents

Dan setelah beberapa waktu kesalahan ini muncul:

grep: memory exhausted

Bagaimana saya bisa menghindari ini?

Saya memiliki 10GB RAM pada sistem saya dan beberapa aplikasi berjalan, jadi saya benar-benar terkejut grep sederhana kehabisan memori. ~/Documentssekitar 100GB dan berisi semua jenis file.

grep -RI mungkin tidak memiliki masalah ini, tetapi saya ingin mencari dalam file biner juga.

Dua potensi masalah:

• grep -R(kecuali untuk GNU dimodifikasi yang grepditemukan pada OS / X 10.8 dan di atas) mengikuti symlinks, jadi walaupun hanya ada 100GB file di ~/Documentsdalamnya, mungkin masih ada symlink /untuk misalnya dan Anda akan akhirnya memindai seluruh sistem file termasuk file seperti /dev/zero. Gunakan grep -rdengan GNU yang lebih baru grep, atau gunakan sintaks standar:

  find ~/Documents -type f -exec grep Milledgeville /dev/null {} +
  

  (Namun perhatikan bahwa status keluar tidak akan mencerminkan fakta bahwa polanya cocok atau tidak).

• grepmenemukan garis yang sesuai dengan pola. Untuk itu, ia harus memuat satu baris sekaligus dalam memori. GNU grepsebagai lawan dari banyak grepimplementasi lainnya tidak memiliki batasan pada ukuran baris yang dibaca dan mendukung pencarian dalam file biner. Jadi, jika Anda memiliki file dengan garis yang sangat besar (yaitu, dengan dua karakter baris baru yang sangat jauh), lebih besar dari memori yang tersedia, itu akan gagal.

  Itu biasanya akan terjadi dengan file yang jarang. Anda dapat mereproduksinya dengan:

  truncate -s200G some-file
  grep foo some-file
  

  Yang itu sulit untuk diselesaikan. Anda dapat melakukannya sebagai (masih dengan GNU grep):

  find ~/Documents -type f -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} +
  

  Itu mengubah urutan karakter NUL menjadi satu karakter baris baru sebelum memasukkan input ke grep. Itu akan mencakup untuk kasus-kasus di mana masalahnya adalah karena file jarang.

  Anda dapat mengoptimalkannya dengan melakukannya hanya untuk file besar:

  find ~/Documents -type f \( -size -100M -exec \
    grep -He Milledgeville {} + -o -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} + \)
  

  Jika file tidak jarang dan Anda memiliki versi GNU grepsebelumnya 2.6, Anda dapat menggunakan --mmapopsi. Garis-garis tersebut akan disimpan dalam memori sebagai lawan disalin di sana, yang berarti sistem selalu dapat mengklaim kembali memori dengan membuka halaman ke file. Opsi itu telah dihapus di GNU grep2.6

Saya biasanya melakukannya

find ~/Documents | xargs grep -ne 'expression'

Saya mencoba banyak metode, dan menemukan ini menjadi yang tercepat. Perhatikan bahwa ini tidak menangani file dengan spasi nama file dengan sangat baik. Jika Anda tahu ini masalahnya dan memiliki versi grep GNU, Anda dapat menggunakan:

find ~/Documents -print0 | xargs -0 grep -ne 'expression'

Jika tidak, Anda dapat menggunakan:

 find ~/Documents -exec grep -ne 'expression' "{}" \;

Yang akan execmenjadi grep untuk setiap file.

Saya dapat memikirkan beberapa cara untuk mengatasi ini:

• Alih-alih menangkap semua file sekaligus, lakukan satu file sekaligus. Contoh:

  find /Documents -type f -exec grep -H Milledgeville "{}" \;
  

• Jika Anda hanya perlu tahu file mana yang berisi kata-kata, lakukan grep -lsaja. Karena grep akan berhenti mencari setelah klik pertama, itu tidak harus terus membaca file besar

• Jika Anda ingin teks yang sebenarnya juga, Anda dapat merangkai dua greps terpisah:

  for file in $( grep -Rl Milledgeville /Documents ); do grep -H Milledgeville "$file"; done
  

Saya sedang mengambil disk 6TB untuk mencari data yang hilang, dan memori habis - teror. Ini juga bisa digunakan untuk file lain.

Solusi yang kami temukan adalah dengan membaca disk di chunks dengan menggunakan dd, dan grepping chunks. Ini adalah kode (big-grep.sh):

#problem: grep gives "memory exhausted" error on 6TB disks
#solution: read it on parts
if [ -z $2 ] || ! [ -e $1 ]; then echo "$0 file string|less -S # greps in chunks"; exit; fi

FILE="$1"
MATCH="$2"

SIZE=`ls -l $1|cut -d\  -f5`
CHUNKSIZE=$(( 1024 * 1024 * 1 )) 
CHUNKS=100 # greps in (100 + 1) x 1MB = 101MB chunks
COUNT=$(( $SIZE / $CHUNKSIZE * CHUNKS ))

for I in `seq 0 $COUNT`; do
  dd bs=$CHUNKSIZE skip=$(($I*$CHUNKS)) count=$(( $CHUNKS+1)) if=$FILE status=none|grep -UF -a --context 6 "$MATCH"
done