Bagaimana cara menguji apakah suatu file menggunakan CRLF atau LF tanpa memodifikasinya?

Saya perlu secara berkala menjalankan perintah yang memastikan bahwa beberapa file teks disimpan dalam mode Linux. Sayangnya dos2unixselalu memodifikasi file, yang akan mengacaukan cap waktu file dan folder dan menyebabkan penulisan yang tidak perlu.

Script yang saya tulis ada di Bash, jadi saya lebih suka jawaban berdasarkan Bash.

Anda dapat menggunakan dos2unixsebagai filter dan membandingkan hasilnya dengan file asli:

dos2unix < myfile.txt | cmp -s - myfile.txt

Jika tujuannya hanya untuk menghindari memengaruhi timestamp, dos2unixmemiliki opsi -katau --keepdateyang akan menjaga timestamp tetap sama. Masih harus menulis untuk membuat file sementara dan mengganti nama, tetapi cap waktu Anda tidak akan terpengaruh.

Jika modifikasi file tidak dapat diterima, Anda dapat menggunakan solusi berikut dari jawaban ini .

find . -not -type d -exec file "{}" ";" | grep CRLF

Anda dapat mencoba grepkode CRLF, oktal:

grep -U $'\015' myfile.txt

atau hex:

grep -U $'\x0D' myfile.txt

Karena versi 7.1dos2unix memiliki -i, --infoopsi untuk mendapatkan informasi tentang jeda baris. Anda dapat menggunakan dos2unix itu sendiri untuk menguji file mana yang perlu konversi.

Contoh:

dos2unix -ic *.txt | xargs dos2unix

Metode pertama ( grep):

Hitung garis yang mengandung carriage return:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Hitung garis yang berakhir dengan carriage return:

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Ini biasanya akan setara; kembalinya carriage di bagian dalam garis (yaitu, bukan di akhir) jarang terjadi.

Lebih efisien:

grep -q $'\r' myfile.txt && echo dos

Ini lebih efisien

1. karena tidak perlu mengonversi hitungan ke string ASCII, lalu mengonversi string itu kembali ke integer, dan membandingkannya dengan nol, dan
2. karena grep -cperlu membaca seluruh file, untuk menghitung semua kemunculan pola, sementara grep -qdapat keluar setelah melihat kemunculan pola pertama.

Catatan:

• Sepanjang hal di atas, Anda mungkin perlu menambahkan -Uopsi (yaitu, gunakan -cUatau -qU), karena GNU grepmenebak apakah file tersebut adalah file teks. Jika ia berpikir file tersebut adalah teks, ia mengabaikan carriage return di akhir baris, dalam upaya membuat $ekspresi reguler berfungsi "dengan benar" - bahkan jika ekspresi regulernya adalah \r$! Menentukan -U(atau --binary) mengesampingkan dugaan ini, menyebabkan grepmemperlakukan file sebagai biner dan meneruskan data ke mekanisme pencocokan kata demi kata, dengan CR-endings utuh.
• Jangan lakukan grep … $'\r\n' myfile.txt, karena grepmemperlakukan \nsebagai pembatas pola. Sama seperti grep -E 'foo|'mencari baris yang berisi fooatau string nol, grep $'\r\n'mencari baris yang berisi \ratau string nol, dan setiap baris cocok dengan string nol.

Metode kedua ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

karena filemelaporkan sesuatu seperti:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Varian yang lebih aman:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

dimana

• file -bhanya menghasilkan jenis file, dan bukan nama file. Tanpa ini, file yang namanya termasuk karakterCRLF akan memicu false positive.
• file - < filenamebekerja bahkan jika filenamedimulai dengan -.  ^{Lihat skrip Bash: periksa apakah file adalah file teks .}

Berhati-hatilah karena memeriksa output dari file mungkin tidak berfungsi di lokal non-Inggris.

Menggunakan cat -A

$ cat file
hello
hello

Sekarang jika file ini dibuat dalam sistem * NIX, itu akan ditampilkan

$ cat -A file
hello$
hello$

Tetapi jika file ini dibuat di Windows, itu akan ditampilkan

$ cat -A file
hello^M$
hello

^Mmewakili CRdan $mewakili LF. Perhatikan bahwa Windows tidak menyimpan baris terakhir denganCRLF

Ini tidak mengubah isi file juga.

fungsi bash untuk Anda:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Maka Anda dapat melakukan hal-hal seperti

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Jika sebuah file memiliki akhiran garis CR-LF gaya DOS / Windows, maka jika Anda melihatnya menggunakan alat berbasis Unix Anda akan melihat karakter CR ('\ r') di akhir setiap baris.

Perintah ini:

grep -l '^M$' filename

akan mencetak filenamejika file berisi satu atau lebih baris dengan ujung garis bergaya Windows, dan tidak akan mencetak apa pun jika tidak. Kecuali bahwa ^Mharus menjadi karakter carriage return literal, biasanya dimasukkan di terminal dengan mengetik Ctrl+ Vdiikuti oleh Enter (atau Ctrl+ Vdan kemudian Ctrl+ M). Bash shell memungkinkan Anda menulis carriage return secara literal seperti $'\r'( didokumentasikan di sini ), sehingga Anda dapat menulis:

grep -l $'\r$' filename

Kerang lain mungkin menyediakan fitur serupa.

Anda dapat menggunakan alat lain sebagai gantinya:

awk '/\r$/ { exit(1) }' filename

Ini akan keluar dengan status 1(pengaturan $?ke 1) jika file tersebut berisi ujung garis gaya Windows, dan dengan status 0jika tidak, menjadikannya berguna dalam ifpernyataan shell (perhatikan kurangnya [tanda kurung ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

File dapat berisi campuran akhiran gaya Unix dan gaya Windows. Aku menduga di sini bahwa Anda ingin mendeteksi file yang memiliki setiap Windows gaya akhir baris.

Gunakan file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

Saya telah menggunakan

cat -v filename.txt | diff - filename.txt

yang sepertinya berhasil. Saya menemukan output sedikit lebih mudah dibaca daripada

dos2unix < filename.txt | diff - filename.txt

Ini juga berguna jika Anda tidak dapat menginstal dos2unixkarena suatu alasan.