Bagaimana menemukan penyandian file melalui skrip di Linux?

Saya perlu menemukan penyandian semua file yang ditempatkan di direktori. Apakah ada cara untuk menemukan pengkodean yang digunakan?

The fileperintah ini tidak dapat melakukan hal ini.

Pengkodean yang menarik bagi saya adalah: ISO-8859-1. Jika penyandiannya adalah hal lain, saya ingin memindahkan file ke direktori lain.

Sepertinya Anda sedang mencari enca. Itu bisa menebak dan bahkan mengkonversi antar pengkodean. Lihat saja halaman manualnya .

Atau, jika gagal, gunakan file -i(linux) atau file -I(osx). Itu akan menampilkan informasi tipe MIME untuk file, yang juga akan mencakup pengkodean karakter-set. Saya menemukan halaman manual untuk itu juga :)

file -bi <file name>

Jika Anda suka melakukan ini untuk banyak file

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Pustaka detektor pengkodean porting dari Mozilla.

Pemakaian:

~> uchardet file.java 
UTF-8

Berbagai distribusi Linux (Debian / Ubuntu, OpenSuse-packman, ...) menyediakan binari.

di sini adalah contoh skrip menggunakan file -I dan iconv yang berfungsi di MacOsX Untuk pertanyaan Anda, Anda perlu menggunakan mv, bukan iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Sangat sulit untuk menentukan apakah itu iso-8859-1. Jika Anda memiliki teks dengan karakter hanya 7 bit yang juga bisa iso-8859-1 tetapi Anda tidak tahu. Jika Anda memiliki 8 bit karakter maka karakter wilayah atas juga ada dalam penyandian urutan. Oleh karena itu Anda harus menggunakan kamus untuk mendapatkan tebakan yang lebih baik dari kata mana dan menentukan dari mana huruf itu harus. Akhirnya jika Anda mendeteksi bahwa itu mungkin utf-8 daripada Anda yakin itu bukan iso-8859-1

Pengkodean adalah salah satu hal tersulit untuk dilakukan karena Anda tidak pernah tahu jika tidak ada yang memberi tahu Anda

Di Debian Anda juga dapat menggunakan encguess::

$ encguess test.txt
test.txt  US-ASCII

Untuk mengonversi pengkodean dari 8859 ke ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Dengan Python, Anda dapat menggunakan modul chardet: https://github.com/chardet/chardet

Ini bukan sesuatu yang bisa Anda lakukan dengan cara yang sangat mudah. Satu kemungkinan adalah untuk memeriksa setiap karakter dalam file untuk memastikan bahwa itu tidak mengandung karakter apa pun dalam rentang 0x00 - 0x1fatau 0x7f -0x9ftetapi, seperti yang saya katakan, ini mungkin benar untuk sejumlah file, termasuk setidaknya satu varian lain dari ISO8859.

Kemungkinan lain adalah mencari kata-kata spesifik dalam file dalam semua bahasa yang didukung dan melihat apakah Anda dapat menemukannya.

Jadi, misalnya, temukan padanan dari bahasa Inggris "dan", "tetapi", "ke", "dari" dan seterusnya dalam semua bahasa yang didukung 8859-1 dan lihat apakah mereka memiliki banyak kemunculan dalam mengajukan.

Saya tidak berbicara tentang terjemahan literal seperti:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

walaupun itu mungkin. Saya berbicara tentang kata-kata umum dalam bahasa target (yang saya tahu, bahasa Islandia tidak memiliki kata untuk "dan" - Anda mungkin harus menggunakan kata mereka untuk "ikan" [maaf itu agak stereotip, saya tidak berarti pelanggaran apa pun, hanya menggambarkan suatu poin]).

Saya tahu Anda tertarik pada jawaban yang lebih umum, tetapi apa yang baik dalam ASCII biasanya baik dalam pengkodean lainnya. Berikut ini adalah satu-baris Python untuk menentukan apakah input standar adalah ASCII. (Saya cukup yakin ini berfungsi di Python 2, tapi saya baru mengujinya di Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Jika Anda berbicara tentang file XML (ISO-8859-1), deklarasi XML di dalamnya menentukan pengkodean: <?xml version="1.0" encoding="ISO-8859-1" ?>
Jadi, Anda dapat menggunakan ekspresi reguler (misalnya dengan perl) untuk memeriksa setiap file untuk spesifikasi tersebut.
Informasi lebih lanjut dapat ditemukan di sini: Cara Menentukan Encoding File Teks .

Di php Anda dapat memeriksa seperti di bawah ini:

Menentukan daftar penyandian secara eksplisit:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

"Mb_list_encodings" lebih akurat:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Di sini, dalam contoh pertama, Anda dapat melihat bahwa saya meletakkan daftar penyandian (deteksi urutan daftar) yang mungkin cocok. Untuk mendapatkan hasil yang lebih akurat, Anda dapat menggunakan semua kemungkinan penyandian melalui: mb_list_encodings ()

Catatan fungsi mb_ * membutuhkan php-mbstring

apt-get install php-mbstring

Di Cygwin, ini sepertinya bekerja untuk saya:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Contoh:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Anda dapat menyalurkannya ke awk dan membuat perintah ikonv untuk mengonversi semuanya menjadi utf8, dari pengodean sumber apa pun yang didukung oleh ikonv.

Contoh:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Anda dapat mengekstrak penyandian satu file dengan perintah file. Saya memiliki file sample.html dengan:

$ file sample.html 

sample.html: Dokumen HTML, teks Unicode UTF-8, dengan garis yang sangat panjang

$ file -b sample.html

Dokumen HTML, teks UTF-8 Unicode, dengan garis yang sangat panjang

$ file -bi sample.html

teks / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Saya menggunakan skrip berikut untuk

1. Temukan semua file yang cocok dengan FILTER dengan SRC_ENCODING
2. Buat cadangannya
3. Konversikan ke DST_ENCODING
4. (opsional) Hapus cadangan

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

dengan perintah ini:

for f in `find .`; do echo `file -i "$f"`; done

Anda dapat membuat daftar semua file dalam direktori dan subdirektori dan encoding yang sesuai.

Dengan Perl, gunakan Encode :: Detect.