Pertahankan hanya garis yang berisi jumlah pembatas yang tepat

Saya memiliki file csv besar dengan 10 bidang yang dipisahkan oleh koma. Sayangnya, beberapa baris salah format dan tidak mengandung tepat 10 koma (apa yang menyebabkan beberapa masalah ketika saya ingin membaca file menjadi R). Bagaimana saya bisa memfilter hanya garis yang berisi tepat 10 koma?

Satu lagi POSIX:

awk -F , 'NF == 11' <file

Jika garis memiliki 10 koma, maka akan ada 11 bidang di baris ini. Jadi kita cukup awkgunakan ,sebagai pembatas bidang. Jika jumlah bidang adalah 11, kondisinya NF == 11benar, awkkemudian lakukan tindakan default print $0.

Menggunakan egrep(atau grep -Edalam POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Ini menyaring apa pun yang tidak mengandung 10 koma: cocok dengan garis penuh ( ^di awal dan $di akhir), yang mengandung tepat sepuluh pengulangan ( {10}) dari urutan "sejumlah karakter kecuali ',', diikuti oleh satu ','" ( ([^,]*,)), diikuti lagi oleh sejumlah karakter kecuali ',' ( [^,]*).

Anda juga dapat menggunakan -xparameter untuk menjatuhkan jangkar:

grep -xE "([^,]*,){10}[^,]*" file.csv

Ini kurang efisien daripada cuonglm 's awksolusi meskipun; yang terakhir biasanya enam kali lebih cepat pada sistem saya untuk jalur dengan sekitar 10 koma. Garis yang lebih panjang akan menyebabkan perlambatan besar.

grepKode paling sederhana yang akan berfungsi:

grep -xE '([^,]*,){10}[^,]*'

Penjelasan:

-xmemastikan bahwa polanya harus cocok dengan seluruh garis, bukan hanya sebagian saja. Ini penting agar Anda tidak mencocokkan garis dengan lebih dari 10 koma.

-E berarti "regex diperpanjang", yang membuat lebih sedikit garis miring terbalik di regex Anda.

Tanda kurung digunakan untuk pengelompokan, dan {10}setelah itu berarti harus ada tepat sepuluh pertandingan dalam satu baris pola di dalam tanda kurung.

[^,]adalah kelas karakter — misalnya, [c-f]akan cocok dengan karakter tunggal apa pun yang a c, a d, a eatau a f, dan [^A-Z]akan cocok dengan karakter tunggal apa pun yang BUKAN huruf besar. Jadi [^,]cocok dengan setiap karakter kecuali koma.

The *setelah sarana kelas karakter "nol atau lebih dari ini."

Jadi bagian regex ([^,]*,)berarti "Karakter apa pun kecuali koma beberapa kali (termasuk nol kali), diikuti oleh koma" dan {10}menentukan 10 di antaranya. Kemudian [^,]*untuk mencocokkan sisa karakter non-koma ke akhir baris.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Yang pertama bercabang garis apa pun dengan 11 atau lebih koma, dan kemudian mencetak yang tersisa hanya mereka yang cocok dengan 10 koma.

Rupanya saya menjawab ini sebelumnya ... Ini adalah saya-plagiarisme dari pertanyaan mencari persis 4 kejadian dari beberapa pola:

Anda dapat menargetkan [num]kemunculan pola dengan s///perintah ubstitusi sed dengan hanya menambahkan [num]ke perintah. Saat Anda tmencoba substitusi yang berhasil dan tidak menentukan :label target , test akan keluar dari skrip. Ini berarti yang harus Anda lakukan hanyalah menguji s///5atau lebih banyak koma, lalu mencetak yang tersisa.

Atau, setidaknya, yang menangani garis yang melebihi batas maksimum 4. Anda tampaknya juga memiliki persyaratan minimum. Untungnya, itu sesederhana itu:

sed -ne 's|,||5;t' -e 's||,|4p'

... hanya mengganti terjadinya-4 ,pada baris dengan dirinya sendiri dan taktik Anda petak on ke s///bendera ubstitution. Karena setiap baris yang cocok dengan ,5 atau lebih kali telah dipangkas, baris yang berisi 4 ,kecocokan hanya berisi 4.

Membuang beberapa pendek python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Ini akan membaca setiap baris dan memeriksa apakah jumlah koma di baris sama dengan 10 line.count(',') == 10, jika demikian cetak maka akan menjadi baris.

Dan inilah cara Perl:

perl -F, -ane 'print if $#F==10'

The -nmenyebabkan perluntuk membaca file baris input dengan baris dan mengeksekusi script yang diberikan oleh -epada setiap baris. The -abergantian pada membelah otomatis: setiap baris masukan akan dibagi pada nilai yang diberikan oleh -F(di sini, koma) dan disimpan sebagai array @F.

The $#F(atau, lebih umum $#array), adalah indeks tertinggi dari array @F. Sejak array mulai 0, garis dengan 11 bidang akan memiliki @Fdari 10. Script, oleh karena itu, mencetak baris jika memiliki 11 bidang.

Jika bidang dapat berisi koma atau baris baru, kode Anda perlu memahami csv. Contoh (dengan tiga kolom):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Saya kira sebagian besar solusi sejauh ini akan membuang baris kedua dan keempat.