Bagaimana cara grep file teks yang berisi beberapa data biner?

grep kembali

File biner test.log cocok

Sebagai contoh

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Saya berharap hasilnya akan menunjukkan baris1 dan baris3 (total dua baris).

Apakah mungkin menggunakan trkonversi data yang tidak dapat dicetak menjadi data yang dapat dibaca, agar grep berfungsi kembali?

Anda dapat menjalankan file data melalui cat -v, misalnya

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

yang kemudian bisa diproses lebih lanjut untuk membuang sampah; ini paling mirip dengan kueri Anda tentang penggunaan truntuk tugas.

grep -a

Tidak bisa lebih sederhana dari itu.

Salah satu caranya adalah dengan memperlakukan file biner sebagai teks saja, grep --texttetapi ini dapat mengakibatkan informasi biner dikirim ke terminal Anda. Itu bukan ide yang bagus jika Anda menjalankan terminal yang menafsirkan aliran keluaran (seperti VT / DEC atau banyak lainnya).

Atau, Anda dapat mengirim file Anda melalui tr perintah berikut:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Ini akan mengubah apa pun yang kurang dari karakter spasi (kecuali baris baru) dan apa pun yang lebih besar dari 126, menjadi a . karakter, hanya menyisakan barang cetakan.

Jika Anda ingin setiap karakter "ilegal" diganti dengan yang berbeda, Anda dapat menggunakan sesuatu seperti program C berikut, filter input standar klasik:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Ini akan memberimu {{NN}} , di mana NNkode hex untuk karakter tersebut. Anda cukup menyesuaikan fileprintf untuk gaya keluaran apa pun yang Anda inginkan.

Anda dapat melihat program itu beraksi di sini, di mana:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Anda dapat menggunakan "string" untuk mengekstrak string dari file biner, misalnya

strings binary.file | grep foo

Anda dapat memaksa grep untuk melihat file biner dengan:

grep --binary-files=text

Anda mungkin juga ingin menambahkan -o( --only-matching) sehingga Anda tidak mendapatkan banyak omong kosong biner yang akan mengganggu terminal Anda.

Dimulai dengan Grep 2.21, file biner diperlakukan secara berbeda :

Saat mencari data biner, grep sekarang dapat memperlakukan byte non-teks sebagai terminator baris. Ini dapat meningkatkan kinerja secara signifikan.

Jadi yang terjadi sekarang adalah dengan data biner, semua byte non-teks (termasuk baris baru) diperlakukan sebagai terminator baris. Jika Anda ingin mengubah perilaku ini, Anda dapat:

• gunakan --text. Ini akan memastikan bahwa hanya baris baru yang merupakan terminator baris

• gunakan --null-data. Ini akan memastikan bahwa hanya null byte yang merupakan terminator baris

grep -a akan memaksa grep untuk mencari dan mengeluarkan dari file yang menurut grep adalah biner. grep -a re test.log

Seperti yang sudah dikatakan James Selvakumar, grep -alakukan triknya. -a atau --text memaksa Grep untuk menangani inputstream sebagai teks. Lihat Manpage http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

mencoba

cat test.log | grep -a somestring

Anda dapat melakukan

strings test.log | grep -i

ini akan mengubah keluaran give sebagai string yang dapat dibaca ke grep.

Anda juga dapat mencoba alat Word Extractor . Word Extractor dapat digunakan dengan file apa pun di komputer Anda untuk memisahkan string yang berisi teks / kata manusia dari kode biner (aplikasi exe, DLL).

Inilah yang saya gunakan dalam sistem yang tidak menginstal perintah "string"

cat yourfilename | tr -cd "[:print:]"

Ini mencetak teks dan menghapus karakter yang tidak dapat dicetak dalam satu gerakan, tidak seperti "cat -v nama file" yang memerlukan beberapa proses pasca untuk menghapus hal-hal yang tidak diinginkan. Perhatikan bahwa beberapa data biner mungkin dapat dicetak sehingga Anda masih akan mendapatkan beberapa omong kosong di antara hal-hal yang bagus. Saya pikir string juga menghilangkan omong kosong ini jika Anda bisa menggunakannya.