coreutils yang benar-benar sadar?

Ketika saya menggunakan cuthari ini, saya menemukan itu tidak memperlakukan karakter UTF-8 sebagai karakter, tetapi 3 karakter karena panjangnya 3 byte.

Ini tampaknya secara umum berlaku untuk banyak alat.

Apakah ada versi coreutilsyang disadari UTF-8?

localeOutput saya :

LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

Ini saatnya cuttidak bekerja

echo 哈哈 | cut -c 2-
��哈

Output yang tepat seharusnya

哈

jika cut -cbekerja dengan karakter multibyte.

GNU coreutils mengerti UTF-8 secara umum. Misalnya echo 哈哈 | wc -mdengan benar menghasilkan 3dalam lokal UTF-8 (perhatikan bahwa pilihannya adalah -m, bukan -cyang karena alasan historis berarti byte).

Ini adalah bug di cut. Melihat sumbercut , cutpada karakter sama sekali tidak diimplementasikan: -copsi diperlakukan sebagai sinonim dari -b.

Solusinya adalah menggunakan awk. GNU awk berupaya dengan UTF-8.

awk '{print substr($0,2,length)}'

Ini terlihat seperti bug di versi build / Anda coreutils. Saya dapat mereproduksi ini di Ubuntu 10.10 Maverick Meerkat tetapi tidak pada Fedora 15.

[patches @ holocene ~] $ cat / etc / fedora-release 
Rilis Fedora 15 (Lovelock)
[patches @ holocene ~] $ rpm -q coreutils
coreutils-8.10-2.fc15.x86_64
[patches @ holocene ~] $ echo 哈哈 | cut -c 2-
哈
[patches @ holocene ~] $ sudo chroot / mnt / maverick
root @ holocene: / # grep DISTRIB_DESC / etc / lsb-release
DISTRIB_DESCRIPTION = "Ubuntu 10.10"
root @ holocene: / # dpkg-query -s coreutils | Versi grep
Versi: 8.5-1ubuntu3
root @ holocene: / # echo 哈哈 | cut -c 2-
哈

Jika Anda juga menggunakan Ubuntu, Anda dapat melaporkan bug ke pembuat coreutilspaket Ubuntu dengan menjalankan perintah berikut:

apport-bug coreutils

Pembaruan: Gilles menunjukkan dalam komentar bahwa ini adalah bug dalam versi hulu coreutilsyang telah ditambal Fedora. Anda dapat menemukan tambalan mereka di sini jika Anda ingin mencoba menambalnya sendiri untuk membuatnya bekerja.