Saya menghapus kata-kata berhenti dari sebuah teks, secara kasar menggunakan kode ini

Saya punya yang berikut ini

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

Saya mengharapkan hasilnya: extensions

tapi saya mendapatkan (saya pikir salah)

file
extensions

Seolah-olah kata filetersebut telah dilewati dalam file stopwords. Sekarang inilah sedikit keren: jika saya memodifikasi file stopwords, dengan mengubah satu kata / huruf ipada baris pertama, untuk setiap huruf ascii lain selain f, i, l, e, maka perintah grep yang sama memberi saya hasil yang berbeda dan benar extensions.

Apa yang terjadi di sini dan bagaimana cara memperbaikinya?

Saya menggunakan grep (BSD grep) 2.5.1-FreeBSD pada Mac OSX GNU bash, versi 4.4.12 (1)

Ini adalah bug dalam bsdgrep, berkaitan dengan variabel yang melacak bagian dari baris saat ini masih untuk memindai yang ditimpa dengan panggilan berturut-turut ke mesin pencocokan ekspresi reguler ketika beberapa pola terlibat.

perbaikan lokal

Anda dapat mengatasinya sampai batas tertentu dengan tidak menggunakan -wopsi, yang bergantung pada variabel ini untuk operasi yang benar dan karenanya gagal, tetapi sebaliknya menggunakan ekstensi ekspresi reguler yang cocok dengan awal dan akhir kata, membuat stopwordsfile Anda terlihat seperti:

\ <i \>
\ <file \>
\ <types \>

Penanganan masalah ini juga mengharuskan Anda untuk tidak menggunakan -Fopsi.

Perhatikan bahwa komponen ekspresi reguler yang terdokumentasi[[:<:]] dan [[:>:]]bahwa re_formatmanual memberi tahu Anda tentang tidak akan bekerja di sini. Ini karena pustaka ekspresi reguler yang dikompilasi menjadi bsdgrepmemiliki dukungan kompatibilitas ekspresi reguler GNU dihidupkan. Ini adalah bug lain, yang dilaporkan diperbaiki.

perbaikan layanan

Bug ini diperbaiki awal tahun ini. Perbaikan belum membuatnya menjadi rasa STABIL atau RELEASE dari FreeBSD, tetapi dilaporkan dalam CURRENT.

Untuk memasukkan ini ke versi MacOS grep, yang berasal dari FreeBSD bsdgrep, silakan berkonsultasi dengan Apple. ☺

Bacaan lebih lanjut

• Jonathan de Boyne Pollard (2017-10-15). bsdgrep berperilaku salah ketika diberi beberapa pola . Bug # 223031. Bugzilla FreeBSD.
• Kyle Evans (2017-04-03). bsdgrep: memperbaiki perilaku yang cocok . Revisi 316477. Sumber FreeBSD.
• Kyle Evans (2017-05-02). bsdgrep: memperbaiki -w -v cocok dengan pola tertentu . Revisi 317665. Sumber FreeBSD.
• Nathan Weeks (2014-06-16). grep (1) dan bsdgrep (1) tidak mengenali [[: <:]] dan [[:>:]] . Bug # 191086. Bugzilla FreeBSD.

Kode ini:

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

menghasilkan:

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

Pada sistem seperti:

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

Lebih detail tentang cgrep, tersedia melalui minuman, dan dari sourceforge:

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

sorakan, drl