Apakah ada cara mudah untuk mengklasifikasikan file sebagai "biner" atau "teks"?

Utilitas Unix standar suka grepdan diffmenggunakan beberapa heuristik untuk mengklasifikasikan file sebagai "teks" atau "biner". ( grepOutput Eg mungkin termasuk baris seperti Binary file frobozz matches.)

Apakah ada tes yang nyaman yang dapat diterapkan dalam zshnaskah untuk melakukan klasifikasi "teks / biner" yang serupa? (Selain sesuatu seperti grep '' somefile | grep -q Binary.)

(Saya menyadari bahwa tes semacam itu harus heuristik, dan karena itu tidak sempurna.)

Jika Anda filehanya meminta tipe mime, Anda akan mendapatkan banyak yang berbeda seperti text/x-shellscript, dan application/x-executablelain - lain, tetapi saya bayangkan jika Anda hanya memeriksa bagian "teks" Anda harus mendapatkan hasil yang baik. Misalnya ( -btanpa keluaran nama file):

file -b --mime-type filename | sed 's|/.*||'

Pendekatan lain akan digunakan isutf8dari koleksi moreutils .

Keluar dengan 0 jika file tersebut valid UTF-8 atau ASCII, atau korsleting, mencetak pesan kesalahan (diam dengan -q) dan keluar dengan 1 sebaliknya.

Jika Anda menyukai heuristik yang digunakan oleh GNU grep, Anda bisa menggunakannya:

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

Itu mencari NUL byte di buffer pertama yang dibaca dari file (beberapa kilo-byte untuk file biasa, tetapi bisa jauh lebih sedikit untuk pipa atau soket atau beberapa perangkat seperti /dev/random). Di lokal UTF-8, ia juga menandai urutan byte yang tidak membentuk karakter UTF-8 yang valid. Diasumsikan LC_ALLtidak diatur ke sesuatu di mana bahasa itu bukan bahasa Inggris.

The ${1-$REPLY}Bentuk memungkinkan Anda untuk menggunakannya sebagai zshkualifikasi glob:

ls -ld -- *(.+isbinary)

akan daftar file biner .

Anda dapat mencoba menentukan apakah iconvdapat membaca file. Ini kurang berkinerja daripada file(yang hanya membaca beberapa byte dari awal), tetapi akan memberi Anda hasil yang lebih dapat diandalkan:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

Ini iconvpada dasarnya membuat no-op, tetapi jika ia menemukan data yang tidak valid (tidak valid UTF-8 dalam contoh ini), itu akan muntah dan keluar.

Anda dapat menulis skrip yang memanggil file, dan menggunakan pernyataan kasus untuk memeriksa kasus yang Anda minati.

Sebagai contoh

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

walaupun tentu saja mungkin ada banyak kasus khusus yang menarik. Hanya memeriksa stringssalinan libmagic, saya melihat sekitar 200 kasus, misalnya,

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

Beberapa menggunakan string "teks" sebagai bagian dari tipe yang berbeda, misalnya,

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

juga scriptbisa menjadi bagian dari kata, tetapi saya tidak melihat masalah dalam hal ini. Tetapi skrip harus memeriksa "text"sebagai kata , bukan substring .

Sebagai pengingat, fileoutput tidak menggunakan deskripsi yang tepat yang akan selalu memiliki "skrip" atau "teks". Kasus khusus adalah sesuatu yang perlu dipertimbangkan. Tindak lanjut berkomentar bahwa --mime-typebekerja sementara pendekatan ini tidak, untuk .svgfile. Namun, dalam tes saya melihat hasil ini untuk file svg:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

yang saya pilih setelah melihat seribu file hanya menampilkan 6 dengan "teks" di output tipe mime. Bisa dibilang, mencocokkan "xml" di akhir output tipe mime bisa lebih bermanfaat, katakanlah, daripada mencocokkan "SVG", tetapi menggunakan skrip untuk melakukan itu akan membawa Anda kembali ke saran yang dibuat di sini.

Output dari filememerlukan beberapa penyetelan dalam skenario baik, dan tidak 100% dapat diandalkan (itu bingung oleh beberapa skrip Perl saya, menyebutnya "data").

Ada lebih dari satu implementasi dari file. Yang paling umum digunakan melakukan tugasnya libmagic, yang dapat digunakan dari program yang berbeda (mungkin tidak langsung dari zsh, meskipun pythonbisa).

Menurut tabel perbandingan uji file untuk shell, Perl, Ruby, dan Python , Perl memiliki -Topsi yang dapat digunakan untuk memberikan informasi ini. Tapi itu tidak mencantumkan daftar fitur yang sebanding zsh.

Bacaan lebih lanjut:

• zsh glob kualifikasi untuk mengecualikan file biner

filememiliki opsi --mime-encodingyang mencoba mendeteksi penyandian file.

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

Anda dapat menggunakan file --mime-encoding | grep binaryuntuk mendeteksi apakah suatu file adalah file biner. Ini berfungsi andal meskipun bisa dikacaukan oleh satu karakter yang tidak valid dalam file teks yang panjang.

Sebagai contoh, saya alias catke skrip shell berikut untuk menghindari merusak terminal saya dengan secara tidak sengaja membuka file biner:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

Kategori arbitrer. Sebelum menjawab cara membuat klasifikasi, Anda memerlukan definisi (ketat). Untuk memiliki definisi, Anda memerlukan suatu tujuan .

Jadi, apa yang ingin Anda lakukan dengan klasifikasi itu?

• Jika Anda ingin memilih ascii / biner di FTP, penting untuk tidak mentransfer file biner sebagai ascii (atau akan rusak). Jadi Anda harus menguji apakah file tersebut adalah teks biasa, html, rtf, dan beberapa lainnya. Namun ragu, pilih biner. Dan mungkin Anda juga ingin menguji bahwa file tersebut hanya memiliki subset seperti 0x0A, 0x0D, dan 0x20-0x7F.
• Jika Anda ingin mentransfer file dalam beberapa protokol (POP3, SMTP), Anda perlu menguji untuk memilih apakah menyandikan di base64 atau sekadar. Dalam hal ini, Anda harus menguji apakah ada karakter yang tidak didukung.
• Kasus lain ... mungkin memiliki definisi lain.

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

akan melakukannya. Lihat dokumentasi untuk -Bdan-T (cari string tersebut di halaman itu The -T and -B switches work as follows).

Saya berkontribusi pada https://github.com/audreyr/binaryornot Ia belum memiliki pembungkus baris perintah (namun) tetapi ini adalah pustaka Python sederhana yang cukup mudah untuk dipanggil bahkan dari CLI. Ia menggunakan heuristik yang cukup efisien untuk menentukan apakah suatu file adalah teks atau biner.

Saya sekarang jawaban ini agak tua, tetapi saya pikir teman saya mengajari saya "retasan" yang hebat untuk melakukan ini.

Anda menggunakan diffperintah dan memeriksa file Anda terhadap file teks uji:

$ diff filetocheck testfile.txt

Sekarang jika filetocheckfile biner, hasilnya adalah:

Binary files filetocheck and testfile.txt differ

Dengan cara ini Anda dapat memanfaatkan diffperintah dan misalnya menulis fungsi yang melakukan pemeriksaan dalam skrip.