Bagaimana cara menghapus baris pertama file teks menggunakan skrip bash / sed?

Saya perlu berulang kali menghapus baris pertama dari file teks besar menggunakan skrip bash.

Saat ini saya menggunakan sed -i -e "1d" $FILE- tetapi butuh sekitar satu menit untuk melakukan penghapusan.

Apakah ada cara yang lebih efisien untuk mencapai ini?

Coba ekor :

tail -n +2 "$FILE"

-n x: Cukup cetak xbaris terakhir . tail -n 5akan memberi Anda 5 baris terakhir dari input. The +tanda jenis membalikkan argumen dan make tailapapun cetak tetapi yang pertama x-1garis. tail -n +1akan mencetak seluruh file, tail -n +2semuanya kecuali baris pertama, dll.

GNU tailjauh lebih cepat daripada sed. tailjuga tersedia di BSD dan -n +2bendera konsisten di kedua alat. Periksa halaman manual FreeBSD atau OS X untuk informasi lebih lanjut.

Versi BSD bisa lebih lambat dari itu sed. Saya bertanya-tanya bagaimana mereka mengaturnya; tailseharusnya hanya membaca file baris demi baris sementara sedmelakukan operasi yang cukup kompleks yang melibatkan menafsirkan skrip, menerapkan ekspresi reguler dan sejenisnya.

Catatan: Anda mungkin tergoda untuk menggunakannya

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

tetapi ini akan memberi Anda file kosong . Alasannya adalah bahwa pengalihan ( >) terjadi sebelum taildipanggil oleh shell:

1. Shell memotong file $FILE
2. Shell menciptakan proses baru untuk tail
3. Shell mengalihkan stdout dari tailproses ke$FILE
4. tail membaca dari sekarang kosong $FILE

Jika Anda ingin menghapus baris pertama di dalam file, Anda harus menggunakan:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

The &&akan memastikan bahwa file tidak ditimpa ketika ada masalah.

Anda dapat menggunakan -i untuk memperbarui file tanpa menggunakan operator '>'. Perintah berikut akan menghapus baris pertama dari file dan menyimpannya ke file.

sed -i '1d' filename

Bagi mereka yang menggunakan SunOS yang bukan GNU, kode berikut akan membantu:

sed '1d' test.dat > tmp.dat 

Tidak, itu seefisien yang akan Anda dapatkan. Anda bisa menulis program C yang bisa melakukan pekerjaan sedikit lebih cepat (lebih sedikit waktu startup dan pemrosesan argumen) tetapi mungkin akan cenderung ke kecepatan yang sama seperti sed file menjadi besar (dan saya menganggap mereka besar jika butuh satu menit ).

Tetapi pertanyaan Anda menderita masalah yang sama seperti banyak orang lain karena itu pra-mengandaikan solusi. Jika Anda memberi tahu kami secara terperinci apa yang Anda coba lakukan daripada bagaimana caranya , kami mungkin dapat menyarankan opsi yang lebih baik.

Misalnya, jika ini adalah file A yang diproses oleh beberapa program B lainnya, salah satu solusinya adalah tidak menghapus baris pertama, tetapi memodifikasi program B untuk memprosesnya secara berbeda.

Katakanlah semua program Anda ditambahkan ke file A ini dan program B saat ini membaca dan memproses baris pertama sebelum menghapusnya.

Anda dapat merekayasa ulang program B sehingga tidak mencoba menghapus baris pertama tetapi mempertahankan offset (mungkin berbasis file) yang persisten ke dalam file A sehingga, saat dijalankan, program dapat mencari proses offset itu, baris di sana, dan perbarui offset.

Kemudian, pada waktu tenang (tengah malam?), Ia bisa melakukan pemrosesan khusus file A untuk menghapus semua baris yang saat ini diproses dan mengatur offset kembali ke 0.

Tentunya akan lebih cepat bagi suatu program untuk membuka dan mencari file daripada membuka dan menulis ulang. Diskusi ini mengasumsikan Anda memiliki kendali atas program B, tentu saja. Saya tidak tahu apakah itu masalahnya tetapi mungkin ada solusi lain yang mungkin jika Anda memberikan informasi lebih lanjut.

Anda dapat mengedit file di tempat: Cukup gunakan -ibendera perl , seperti ini:

perl -ni -e 'print unless $. == 1' filename.txt

Ini membuat baris pertama menghilang, seperti yang Anda tanyakan. Perl perlu membaca dan menyalin seluruh file, tetapi mengatur agar output disimpan dengan nama file asli.

Anda dapat dengan mudah melakukan ini dengan:

cat filename | sed 1d > filename_without_first_line

di baris perintah; atau untuk menghapus baris pertama file secara permanen, gunakan mode sed di tempat dengan -ibendera:

sed -i 1d <filename>

Seperti yang dikatakan Pax, Anda mungkin tidak akan mendapatkan yang lebih cepat dari ini. Alasannya adalah bahwa hampir tidak ada sistem file yang mendukung pemotongan sejak awal file sehingga ini akan menjadi operasi O ( n) di mana nukuran file. Apa yang dapat Anda lakukan jauh lebih cepat adalah menimpa baris pertama dengan jumlah byte yang sama (mungkin dengan spasi atau komentar) yang mungkin bekerja untuk Anda tergantung pada apa yang Anda coba lakukan (apa itu omong-omong?).

The spongeutil menghindari kebutuhan untuk menyulap file temp:

tail -n +2 "$FILE" | sponge "$FILE"

Jika Anda ingin memodifikasi file di tempat, Anda selalu bisa menggunakan yang asli edbukan yang s penerus treaming sed:

ed "$FILE" <<<$'1d\nwq\n'

The edperintah adalah asli editor teks UNIX, sebelum ada bahkan terminal layar penuh, workstation apalagi grafis. The exEditor, dikenal sebagai apa yang Anda gunakan saat mengetik di usus prompt vi, adalah mantan versi cenderung dari ed, begitu banyak pekerjaan perintah yang sama. Meskipun eddimaksudkan untuk digunakan secara interaktif, itu juga dapat digunakan dalam mode batch dengan mengirimkan serangkaian perintah ke sana, yang merupakan apa yang dilakukan solusi ini.

Urutan <<<$'1d\nwq\n'mengambil keuntungan dari dukungan Bash karena di sini-string ( <<<) dan kutipan POSIX ( $'... ') untuk masukan pakan ke edperintah yang terdiri dari dua baris: 1dyang d eletes baris 1 , dan kemudian wq, yang w ritus file kembali ke disk dan kemudian q UITS sesi editing.

harus menunjukkan baris kecuali baris pertama:

cat textfile.txt | tail -n +2

Bisa menggunakan vim untuk melakukan ini:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Ini harus lebih cepat, karena vim tidak akan membaca seluruh file saat diproses.

Bagaimana dengan menggunakan csplit?

man csplit
csplit -k file 1 '{1}'

Karena sepertinya saya tidak bisa mempercepat penghapusan, saya pikir pendekatan yang baik mungkin untuk memproses file dalam batch seperti ini:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

Kelemahan dari ini adalah bahwa jika program terbunuh di tengah (atau jika ada sql buruk di sana - menyebabkan bagian "proses" mati atau terkunci), akan ada garis yang dilewati, atau diproses dua kali .

(file1 berisi baris kode sql)

Jika yang ingin Anda lakukan adalah memulihkan setelah kegagalan, Anda bisa saja membangun file yang telah Anda lakukan sejauh ini.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Liner satu ini akan melakukan:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Berhasil, karena taildijalankan sebelum echodan kemudian file dibuka, maka tidak perlu untuk file temp.

Apakah menggunakan tail pada baris N-1 dan mengarahkannya ke file, diikuti dengan menghapus file lama, dan mengganti nama file baru ke nama lama melakukan pekerjaan?

Jika saya melakukan ini secara terprogram, saya akan membaca file, dan mengingat file offset, setelah membaca setiap baris, sehingga saya dapat mencari kembali ke posisi itu untuk membaca file dengan satu baris lebih sedikit di dalamnya.