Grep beberapa pola negatif yang cocok

Jadi saya punya banyak log Apache dengan menggunakan format log standar. Saya ingin mendapatkan semua baris log yang tidak berasal dari perayap web.

Jadi katakanlah saya punya file robot_patterns dengan entri suka

Googlebot
msnbot-media
YandexBot
bingbot

Jika saya menjalankan perintah grep -f robot_patterns *.logsaya akan mendapatkan semua entri dengan bot yang cocok dengan pola di atas. Daftar aktual saya memiliki ~ 30 entri bot dan agen yang ingin saya abaikan.

Tapi saya ingin menemukan semua entri yang TIDAK dari bot . Jadi saya coba grep -v -f robot_patterns *.logdan tidak ada hasil yang dikembalikan oleh grep. Ini bukan yang saya harapkan atau inginkan, dan saya tidak menemukan cara yang jelas untuk mendapatkan apa yang saya inginkan. Saat menggunakan -vopsi yang dikombinasikan dengan beberapa pola dalam file, grep hanya akan mengembalikan baris yang cocok jika cocok dengan SETIAP pola.

Jika ada baris kosong di file pola itu akan cocok dengan setiap baris, menyebabkan tidak ada garis yang dikembalikan -v. Ini karena garis ditafsirkan sebagai ekspresi reguler, dan ekspresi reguler kosong akan selalu cocok.

Namun ini bukan masalah -Fkarena grepmengabaikan baris kosong -F.
-Fmenyebabkan grepuntuk mengartikan garis sebagai string sederhana untuk dicari dan dapat mempercepat grepjika ekspresi reguler tidak diperlukan.

Anda dapat mencoba:

grep -vE 'Googlebot|msnbot-media|YandexBot|bingbot' yourlogfile