Cara memeriksa apakah file memiliki BOM dalam utf-8 teks

18

Bagaimana saya bisa mengecek apakah file teks utf-8 memiliki BOM dari command line?

fileperintah menunjukkan kepada saya UTF-8 Unicode text.

Tapi saya tidak tahu itu berarti tidak ada BOM dalam file tersebut.

Saya menggunakan Ubuntu 12.04.

unicode

— pasir besi
sumber

Perhatikan bahwa tidak ada BOM di UTF-8: itu adalah fitur UTF-16. File UTF-8 dapat dimulai dengan karakter U + FEFF, tetapi dalam kasus itu adalah ruang dengan lebar nol.

— Gilles 'SANGAT berhenti menjadi jahat'

30

fileakan memberi tahu Anda jika ada BOM. Anda dapat menguji:

$ /usr/bin/printf "\ufeff...\n" | file -
/dev/stdin: UTF-8 Unicode (with BOM) text

Catatan: menurut filechangelog, fitur ini sudah ada pada 2007. Jadi, ini harus bekerja pada mesin apa pun saat ini.

— vinc17
sumber

1

Terima kasih atas jawabannya. fileVersi saya adalah file-5.09dan hasilnya /dev/stdin: ASCII text. Apakah ini tergantung pada versi file?

— ironsand

@Tetsu saya diuji dengan file5.04 (memeras Debian) dan itu OK. Bahkan pada 2007, menurut changelog (tidak diuji). Tetapi Anda dapat melakukan tes yang saya berikan dalam jawaban saya.

— vinc17

Saya baru saja menginstal language-pack-jadari apt, maka contoh Anda berfungsi dengan baik. Terima kasih atas bantuan Anda!

— ironsand

4

Jika Anda menjalankannya stat fileNameharus memberi Anda tepat tiga karakter. Ketika saya membuka file di editor, saya tidak dapat melihat apa pun. Jadi memperhatikan bahwa ukuran file adalah 3 memberi saya kejelasan bahwa ia memiliki BOM.

Juga, posting di sini sangat membantu dalam kasus saya.

hexdump -n 3 -C 2.txt
00000000 ef bb bf
ef bb bf // YES

— akshita007
sumber