Hapus baris tajuk tambahan dari file, kecuali untuk baris pertama

Saya memiliki file yang terlihat seperti contoh mainan ini. File saya yang sebenarnya memiliki 4 juta baris, sekitar 10 di antaranya harus saya hapus.

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
ID  Data1  Data2
4    100    100
ID  Data1  Data2
5    200    200

Saya ingin menghapus garis yang terlihat seperti tajuk, kecuali untuk baris pertama.

File terakhir:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Bagaimana saya bisa melakukan ini?

header=$(head -n 1 input)
(printf "%s\n" "$header";
 grep -vFxe "$header" input
) > output

1. ambil baris tajuk dari file input ke dalam variabel
2. cetak tajuk
3. proses file dengan grepmenghilangkan baris yang cocok dengan header
4. ambil output dari dua langkah di atas ke dalam file output

Kamu bisa memakai

sed '2,${/ID/d;}'

Ini akan menghapus baris dengan ID mulai dari baris 2.

Bagi yang tidak suka kurung keriting

sed -e '1n' -e '/^ID/d'

• nberarti passNo. baris1
• d hapus semua baris yang cocok yang dimulai dengan ^ID

Ini yang menyenangkan. Anda dapat menggunakan sedsecara langsung untuk menghapus semua salinan dari baris pertama dan meninggalkan semua yang lain di tempatnya (termasuk baris pertama itu sendiri).

sed '1{h;n;};G;/^\(.*\)\n\1$/d;s/\n.*$//' input

1{h;n;}menempatkan baris pertama ke dalam ruang penahanan, mencetaknya, dan membaca di baris berikutnya — melompati sisa sedperintah untuk baris pertama. (Ini juga melewatkan 1tes pertama untuk baris kedua , tetapi itu tidak masalah karena tes itu tidak akan berlaku untuk baris kedua.)

G menambahkan baris baru diikuti dengan isi ruang pegang ke ruang pola.

/^\(.*\)\n\1$/dmenghapus isi dari ruang pola (sehingga melompati ke baris berikutnya) jika bagian setelah baris baru (yaitu apa yang ditambahkan dari ruang penahanan) persis cocok dengan bagian sebelum baris baru. Di sinilah baris yang menduplikasi header akan dihapus.

s/\n.*$//menghapus bagian teks yang ditambahkan oleh Gperintah, sehingga yang dicetak hanyalah baris teks dari file.

Namun, karena regex mahal, pendekatan yang sedikit lebih cepat adalah dengan menggunakan kondisi yang sama (dinegasikan) dan Pnaik ke baris baru jika bagian setelah baris baru (yaitu apa yang ditambahkan dari ruang penahanan) tidak persis cocok dengan porsi sebelum baris baru dan kemudian menghapus tanpa ruang pola:

sed '1{h;n;};G;/^\(.*\)\n\1$/!P;d' input

Output saat diberikan input Anda adalah:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Berikut adalah beberapa pilihan lain yang tidak mengharuskan Anda mengetahui baris pertama sebelumnya:

perl -ne 'print unless $_ eq $k; $k=$_ if $.==1; 

The -nflag mengatakan perl loop atas file input-nya, menyimpan setiap baris sebagai $_. The $k=$_ if $.==1;menyimpan baris pertama ( $.adalah nomor baris, sehingga $.==1hanya akan berlaku untuk baris 1) sebagai $k. The print unless $k eq $_cetakan baris saat ini jika tidak sama dengan salah satu yang disimpan di $k.

Atau, hal yang sama di awk:

awk '$0!=x;(NR==1){x=$0}' file 

Di sini, kami menguji apakah baris saat ini sama dengan apa yang disimpan dalam variabel x. Jika pengujian $0!=xbernilai true (jika garis saat $0ini tidak sama dengan x), garis tersebut akan dicetak karena tindakan default untuk awk pada ekspresi benar adalah mencetak. Baris pertama ( NR==1) disimpan sebagai x. Karena ini dilakukan setelah memeriksa apakah baris saat ini cocok x, ini memastikan bahwa baris pertama juga akan dicetak.

AWK adalah alat yang cukup baik untuk tujuan seperti itu juga. Berikut contoh menjalankan kode:

$ awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt | head -n 10                                
ID  Data1  Data2
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100

Hancurkan :

• NR == 1 {print} memberitahu kita untuk mencetak baris pertama file teks
• NR != 1 && $0!~/ID Data1 Data2/ operator logis &&memberi tahu AWK untuk mencetak garis yang tidak sama dengan 1 dan tidak mengandung ID Data1 Data2. Perhatikan kurangnya {print}bagian; di awk jika suatu kondisi pengujian dievaluasi ke true, diasumsikan untuk garis yang akan dicetak.
• | head -n 10hanyalah tambahan kecil untuk membatasi output hanya 10 baris pertama. Tidak relevan dengan AWKbagian itu sendiri, hanya digunakan untuk tujuan demo.

Jika Anda menginginkannya dalam file, arahkan output perintah dengan menambahkan > newFile.txtdi akhir perintah, seperti:

awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > newFile.txt

Bagaimana itu bisa bertahan? Cukup bagus sebenarnya:

$ time awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > /dev/null                            
    0m3.60s real     0m3.53s user     0m0.06s system

Catatan samping

File sampel yang dihasilkan dilakukan dengan pengulangan dari satu ke juta dan mencetak empat baris pertama file Anda (jadi 4 baris kali juta sama dengan 4 juta baris), yang memerlukan waktu 0,09 detik, omong-omong.

awk 'BEGIN{ for(i=1;i<=1000000;i++) printf("ID  Data1  Data2\n1    100    100\n     100    200\n3    200    100\n");  }' > rmLines.txt

Awk, beradaptasi dengan header apa pun secara otomatis:

awk '( FNR == 1) {header=$0;print $0;}
     ( FNR > 1) && ($0 != header) { print $0;}'  file1  file2 ....

yaitu, pada baris pertama, dapatkan tajuk dan cetak, dan baris berikutnya BERBEDA dari tajuk itu bisa dicetak.

FNR = Jumlah Rekaman dalam File saat ini, sehingga Anda dapat memiliki banyak file dan itu akan melakukan hal yang sama di masing-masing.

Demi kelengkapan, solusi Perl IMO sedikit lebih elegan daripada @terdon memberi:

perl -i -p -e 's/^ID.*$//s if $. > 1' file

Hanya untuk mendorong kembali pada pertanyaan sedikit ... sepertinya input Anda sendiri adalah hasil dari catting beberapa file TSV. Jika Anda dapat membuat cadangan langkah dalam jalur pemrosesan Anda (jika Anda memiliki itu atau dapat berbicara dengan orang-orang yang melakukannya), Anda dapat menggunakan alat yang sadar header untuk menggabungkan data di tempat pertama, dan dengan demikian menghilangkan masalah keharusan untuk hapus baris tajuk tambahan.

Misalnya, menggunakan Miller :

$ cat f1.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
$ cat f2.tsv
ID  Data1 Data2
4 100 100
$ cat f3.tsv
ID  Data1 Data2
5 200 200

$ cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
ID  Data1 Data2
4 100 100
ID  Data1 Data2
5 200 200

$ mlr --tsvlite cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
4 100 100
5 200 200