apakah penghapusan baris in-place pada sistem file lengkap?

Karena bug aplikasi belum terdiagnosis, saya memiliki beberapa ratus server dengan disk penuh. Ada satu file yang telah diisi dengan duplikat baris - bukan file log, tetapi file lingkungan pengguna dengan definisi variabel (jadi saya tidak bisa hanya menghapus file).

Saya menulis sedperintah sederhana untuk memeriksa baris yang ditambahkan secara salah dan menghapusnya, dan mengujinya pada salinan lokal file tersebut. Ini berfungsi sebagaimana dimaksud.

Namun, ketika saya mencobanya di server dengan disk penuh, saya mendapatkan kira-kira kesalahan berikut (ini dari memori, bukan salin dan tempel):

sed: couldn't flush /path/to/file/sed8923ABC: No space left on deviceServerHostname

Tentu saja, saya tahu tidak ada ruang yang tersisa. Itu sebabnya saya mencoba menghapus barang! ( sedPerintah yang saya gunakan akan mengurangi 4000 baris file menjadi sekitar 90 baris.)

sedPerintah saya adilsed -i '/myregex/d' /path/to/file/filename

Apakah ada cara saya dapat menerapkan perintah ini meskipun disk penuh?

(Ini harus otomatis, karena saya perlu menerapkannya ke beberapa ratus server sebagai perbaikan cepat.)

_{(Jelas bug aplikasi perlu didiagnosis, tetapi sementara itu server tidak berfungsi dengan benar ....)}

Pembaruan: Situasi yang saya hadapi diselesaikan dengan menghapus sesuatu yang saya temukan dapat saya hapus, tetapi saya masih menginginkan jawaban untuk pertanyaan ini , yang akan membantu di masa depan dan untuk orang lain.

/tmpadalah no-go; ada di sistem file yang sama.

Sebelum saya membebaskan ruang disk, saya melakukan pengujian dan menemukan bahwa saya dapat menghapus baris videngan membuka file dan menjalankan :g/myregex/ddan kemudian berhasil menyimpan perubahan dengan :wq. Tampaknya mungkin untuk mengotomatisasi ini, tanpa menggunakan sistem file terpisah untuk menyimpan file temp .... (?)

The -ipilihan tidak benar-benar menimpa file asli. Itu membuat file baru dengan output, kemudian mengganti nama ke nama file asli. Karena Anda tidak memiliki ruang pada sistem file untuk file baru ini, gagal.

Anda harus melakukannya sendiri di skrip Anda, tetapi buat file baru di sistem file yang berbeda.

Juga, jika Anda hanya menghapus baris yang cocok regexp, Anda dapat menggunakan grepbukan sed.

grep -v 'myregex' /path/to/filename > /tmp/filename && mv /tmp/filename /path/to/filename

Secara umum, sangat jarang bagi program untuk menggunakan file yang sama dengan input dan output - segera setelah mulai menulis ke file, bagian dari program yang membaca dari file tidak akan lagi melihat konten asli. Jadi harus menyalin file asli di suatu tempat terlebih dahulu, atau menulis ke file baru dan mengganti nama ketika selesai.

Jika Anda tidak ingin menggunakan file sementara, Anda bisa mencoba menyimpan konten file dalam memori:

file=$(< /path/to/filename)
echo "$file" | grep -v 'myregex' > /path/to/filename

Begitulah cara sedkerjanya. Jika digunakan dengan -i(di tempat sunting) sedmembuat file sementara dengan konten baru dari file yang diproses. Setelah selesai sed, ganti file yang aktif saat ini dengan yang sementara. Utilitas tidak mengedit file di tempat . Itulah perilaku setiap editor.

Ini seperti Anda melakukan tugas berikut dalam sebuah shell:

sed 'whatever' file >tmp_file
mv tmp_file file

Pada titik ini sed, cobalah untuk menyiram data yang disangga ke file yang disebutkan dalam pesan kesalahan dengan fflush()panggilan sistem:

Untuk aliran keluaran, fflush()memaksa penulisan dari semua data buffer-ruang pengguna untuk output yang diberikan atau memperbarui aliran melalui fungsi tulis yang mendasari aliran.

Untuk masalah Anda, saya melihat solusi dalam memasang sistem file separte (misalnya a tmpfs, jika Anda memiliki cukup memori, atau perangkat penyimpanan eksternal) dan memindahkan beberapa file di sana, memprosesnya di sana, dan memindahkannya kembali.

Sejak memposting pertanyaan ini saya telah belajar bahwa exini adalah program yang sesuai dengan POSIX. Ini hampir secara universal terhubung ke vim, tetapi bagaimanapun juga, berikut ini (saya pikir) adalah titik kunci exdalam kaitannya dengan sistem file (diambil dari spesifikasi POSIX):

Bagian ini menggunakan buffer edit istilah untuk menggambarkan teks yang sedang bekerja. Tidak ada implementasi spesifik yang tersirat oleh istilah ini. Semua perubahan pengeditan dilakukan pada buffer edit, dan tidak ada perubahan pada itu akan mempengaruhi file apa pun sampai perintah editor menulis file.

"... akan memengaruhi file apa pun ..." Saya percaya bahwa meletakkan sesuatu pada sistem file (sama sekali, bahkan file temp) akan dianggap sebagai "memengaruhi file apa pun." Mungkin?*

Studi cermat terhadap spesifikasi POSIX untukex mengindikasikan beberapa "gotchas" tentang penggunaan portabel yang dimaksud bila dibandingkan dengan penggunaan scripted umum yang exditemukan secara online (yang dikotori dengan vimperintah-spesifik.)

1. Implementasi +cmdadalah opsional sesuai dengan POSIX.
2. Mengizinkan beberapa -copsi juga opsional.
3. Perintah global :g"memakan" semuanya hingga baris baru yang tidak diloloskan (dan karenanya menjalankannya setelah setiap kecocokan ditemukan untuk regex daripada sekali pada akhir). Jadi -c 'g/regex/d | x'hanya hapus satu instance dan kemudian keluar file.

Jadi menurut apa yang saya teliti, metode yang sesuai dengan POSIX untuk mengedit file pada sistem file lengkap untuk menghapus semua baris yang cocok dengan regex tertentu, adalah:

ex -sc 'g/myregex/d
x' /path/to/file/filename

Ini akan berfungsi asalkan Anda memiliki memori yang cukup untuk memuat file ke buffer.

_{* Jika Anda menemukan sesuatu yang menunjukkan sebaliknya, tolong sebutkan di komentar.}

Gunakan pipanya, Luke!

Baca file | filter | menulis kembali

sed 's/PATTERN//' BIGFILE | dd of=BIGFILE conv=notrunc

dalam hal sedini tidak membuat file baru dan hanya mengirim output yang disalurkan ke ddmana membuka file yang sama . Tentu saja orang dapat menggunakannya grepdalam kasus tertentu

grep -v 'PATTERN' BIGFILE | dd of=BIGFILE conv=notrunc

kemudian potong sisanya.

dd if=/dev/null of=BIGFILE seek=1 bs=BYTES_OF_SED_OUTPUT

Seperti dicatat dalam jawaban lain, sed -iberfungsi dengan menyalin file ke file baru di direktori yang sama , membuat perubahan dalam proses, dan kemudian memindahkan file baru di atas yang asli. Itu sebabnya itu tidak berhasil.  ed(editor baris asli) bekerja dengan cara yang agak mirip, tetapi, terakhir kali saya memeriksa, ini digunakan /tmpuntuk file awal. Jika Anda /tmpmenggunakan sistem file yang berbeda dari yang penuh, eddapat melakukan pekerjaan untuk Anda.

Coba ini (di prompt shell interaktif Anda):

$ ed / path / ke / file / nama file
P
g / myregex / d
w
q

The P(yang merupakan ibukota P) tidak benar-benar diperlukan. Menyala saat diminta; tanpanya, Anda bekerja dalam kegelapan, dan beberapa orang merasa ini membingungkan. The wdan qyang w ritus dan q uit.

edterkenal karena diagnostik samar. Jika pada suatu saat ia menampilkan sesuatu selain prompt (yang ada *) atau sesuatu yang jelas merupakan konfirmasi operasi yang berhasil ( terutama jika mengandung a ?), jangan menulis file (dengan w). Berhenti saja ( q). Jika itu tidak membuat Anda keluar, coba katakan qlagi.

Jika /tmpdirektori Anda berada di sistem file yang penuh (atau jika sistem file penuh, juga), cobalah untuk menemukan ruang di suatu tempat. chaos disebutkan memasang tmpfs atau perangkat penyimpanan eksternal (misalnya, flash drive); tetapi, jika Anda memiliki beberapa filesystem, dan mereka tidak semua penuh, Anda dapat hanya menggunakan salah satu dari yang sudah ada lainnya. chaos menyarankan untuk menyalin file ke sistem file lain, mengeditnya di sana (dengan sed), dan kemudian menyalinnya kembali. Pada titik ini, itu mungkin solusi paling sederhana. Tetapi alternatifnya adalah membuat direktori yang dapat ditulis pada sistem file yang memiliki beberapa ruang kosong, mengatur variabel lingkungan TMPDIRuntuk menunjuk ke direktori itu, dan kemudian jalankan ed. (Pengungkapan: Saya tidak yakin apakah ini akan berhasil, tetapi tidak ada salahnya.)

Setelah Anda mulai edbekerja, Anda dapat mengotomatisasi ini dengan melakukannya

ed nama file << EOF
g / myregex / d
w
q
EOF

dalam naskah. Atau , seperti yang disarankan oleh don_crissti.printf '%s\n' 'g/myregex/d' w q | ed -s filename

Anda dapat memotong file dengan cukup mudah jika Anda bisa mendapatkan jumlah byte ke offset Anda dan garis Anda muncul dari titik awal hingga akhir.

o=$(sed -ne'/regex/q;p' <file|wc -c)
dd if=/dev/null of=file bs="$o" seek=1

Atau jika Anda ${TMPDIR:-/tmp}menggunakan beberapa sistem file lain, mungkin:

{   cut -c2- | sed "$script" >file
} <file <<FILE
$(paste /dev/null -)
FILE

Karena (kebanyakan) shell meletakkan dokumen-dokumennya di sini dalam file temp yang dihapus. Ini sangat aman selama <<FILEdeskriptor dipertahankan dari awal hingga akhir dan ${TMPDIR:-/tmp}memiliki ruang sebanyak yang Anda butuhkan.

Kerang yang tidak menggunakan file temp menggunakan pipa, jadi tidak aman untuk menggunakan cara ini. Kerang ini biasanya ashderivatif seperti busybox, dash, BSD sh- zsh, bash, ksh, dan Bourne shell, bagaimanapun, semua file menggunakan temp.

rupanya saya menulis program shell kecil Juli lalu untuk melakukan sesuatu yang sangat seperti ini

Jika /tmptidak layak, maka selama Anda dapat memuat file dalam memori seperti ...

sed 'H;$!d;x' <file | { read v &&
sed "$script" >file;}

... sebagai kasus umum paling tidak akan memastikan bahwa file telah sepenuhnya disangga oleh sedproses pertama sebelum mencoba untuk memotong file in / out.

Solusi yang lebih tepat sasaran dan efisien adalah:

sed '/regex/!H;$!d;x' <file|{ read v && cat >file;}

... karena toh tidak akan mengganggu garis penyangga yang ingin Anda hapus.

Tes kasus umum:

{   nums=/tmp/nums
    seq 1000000 >$nums
    ls -lh "$nums"
    wc -l  "$nums"
    sed 'H;$!d;x' <$nums | { read script &&  ### read always gets a blank
    sed "$script" >$nums;}
    wc -l  "$nums"
    ls -lh "$nums"
}

-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums
1000000 /tmp/nums
1000000 /tmp/nums
-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums

Jawaban ini meminjam ide-ide dari jawaban lain ini dan jawaban lain ini tetapi dibangun di atasnya, menciptakan jawaban yang lebih umum berlaku:

num_bytes = $ (sed '/ myregex / d' / path / ke / file / nama file | wc -c)
sed '/ myregex / d' / path / ke / file / nama file 1 <> / path / ke / file / nama file 
dd jika = / dev / null dari = / path / ke / file / nama file bs = "$ num_bytes" seek = 1

Baris pertama menjalankan sedperintah dengan output ditulis ke output standar (dan bukan ke file); khusus, ke pipa wcuntuk menghitung karakter. Baris kedua juga menjalankan sedperintah dengan keluaran ditulis ke keluaran standar, yang, dalam hal ini diarahkan ke file input dalam mode baca / tulis timpa (tanpa terpotong), yang dibahas di sini . Ini agak berbahaya untuk dilakukan; aman hanya ketika perintah filter tidak pernah meningkatkan jumlah data (teks); yaitu, untuk setiap n byte yang dibaca, ia menulis n atau lebih sedikit byte. Ini tentu saja berlaku untuk sed '/myregex/d'perintah; untuk setiap baris yang dibacanya, ia menulis baris yang sama persis, atau tidak sama sekali. (Contoh lain:s/foo/fu/atau s/foo/bar/akan aman, tetapi s/fu/foo/dan s/foo/foobar/tidak akan.)

Sebagai contoh:

$ cat filename
It was
a dark and stormy night.
$ sed '/was/d' filename 1<> filename
$ cat filename
a dark and stormy night.
night.

karena 32 byte data ini:

I  t     w  a  s \n  a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

ditimpa dengan 25 karakter ini:

a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

meninggalkan tujuh byte yang night.\ntersisa di akhir.

Akhirnya, ddperintah mencari ke bagian akhir dari data yang baru digosok (byte 25 dalam contoh ini) dan menghapus sisa file; yaitu, itu memotong file pada saat itu.

Jika, karena alasan apa pun, 1<>triknya tidak berfungsi, Anda dapat melakukannya

sed '/ myregex / d' / path / ke / file / nama file | dd = / path / ke / file / nama file conv = notrunc

Juga, perhatikan bahwa, selama semua yang Anda lakukan adalah menghapus garis, yang Anda butuhkan adalah grep -v myregex(seperti yang ditunjukkan oleh Barmar ).

sed-i 'd' / path / ke / file / nama file