Hitung semua kemunculan string dalam banyak file dengan grep

Saya punya banyak file log. Saya perlu mencari tahu berapa kali sebuah string muncul di semua file.

grep -c string *

kembali

...
file1:1
file2:0
file3:0
...

Menggunakan pipa saya hanya bisa mendapatkan file yang memiliki satu atau lebih kejadian:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Bagaimana saya bisa mendapatkan hanya jumlah gabungan? (Jika kembali file4:5, file5:1, file6:2, saya ingin kembali 8.)

cat * | grep -c string

Ini berfungsi untuk beberapa kejadian per baris:

grep -o string * | wc -l

grep -oh string * | wc -w

akan menghitung banyak kemunculan dalam satu baris

Alih-alih menggunakan -c, hanya pipa itu ke wc -l.

grep string * | wc -l

Ini akan membuat daftar setiap kemunculan pada satu baris dan kemudian menghitung jumlah baris.

Ini akan melewatkan contoh di mana string muncul 2+ kali pada satu baris.

cat * | grep -c string

Salah satu aplikasi langka yang bermanfaat cat.

Sesuatu yang berbeda dari semua jawaban sebelumnya:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Anda dapat menambahkan -Runtuk mencari secara rekursif (dan menghindari menggunakan cat) dan -Imengabaikan file biner.

grep -RIc string .

Solusi AWK wajib:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Berhati-hatilah jika nama file Anda menyertakan ":".

Solusi AWK yang juga menangani nama file termasuk titik dua:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Perlu diingat bahwa metode ini masih tidak menemukan banyak kemunculan stringpada baris yang sama.

Jika Anda ingin jumlah kemunculan per file (contoh untuk string "tcp"):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Contoh output:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Penjelasan:

• grep -RIci NEEDLE . - mencari string NEEDLE secara rekursif dari direktori saat ini (mengikuti symlink), mengabaikan binari, menghitung jumlah kemunculan, mengabaikan case
• awk ... - perintah ini mengabaikan file dengan nol kejadian dan memformat garis
• sort -hr - mengurutkan garis dalam urutan terbalik dengan angka di kolom pertama

Tentu saja, ia bekerja dengan perintah grep lainnya dengan opsi -c(hitung) juga. Sebagai contoh:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Anda dapat menggunakan yang sederhana grepuntuk menangkap jumlah kejadian secara efektif. Saya akan menggunakan -iopsi untuk memastikan STRING/StrING/stringditangkap dengan benar.

Baris perintah yang memberi nama file:

grep -oci string * | grep -v :0

Baris perintah yang menghapus nama file dan mencetak 0 jika ada file tanpa kejadian:

grep -ochi string *

varian rekursif pendek :

find . -type f -exec cat {} + | grep -c 'string'

Satu-satunya solusi Grep yang saya uji dengan grep for windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

Solusi ini akan menghitung semua kemunculan walaupun ada banyak yang terjadi pada satu baris. -rpencarian direktori secara rekursif, -oakan "hanya menampilkan bagian dari garis POLA yang cocok" - inilah yang membagi banyak kejadian pada satu baris dan membuat mencetak grep setiap pertandingan pada baris baru; kemudian pipa hasil yang dipisahkan baris baru ke grep dengan -cuntuk menghitung jumlah kejadian menggunakan pola yang sama.

Ini adalah cara alternatif AWK yang lebih cepat daripada grep dalam melakukan ini, yang menangani beberapa kecocokan <url>per baris, dalam kumpulan file XML dalam direktori:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Ini bekerja dengan baik dalam kasus di mana beberapa file XML tidak memiliki jeda baris.

Oneliner lain menggunakan fungsi baris perintah dasar yang menangani beberapa kejadian per baris.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l