Apakah ada cara untuk memodifikasi file di tempat?

Saya memiliki file yang cukup besar (35Gb), dan saya ingin memfilter file ini di situ (yaitu saya tidak memiliki cukup ruang disk untuk file lain), khususnya saya ingin menangkap dan mengabaikan beberapa pola - apakah ada cara untuk lakukan ini tanpa menggunakan file lain?

Katakanlah saya ingin memfilter semua baris yang berisi foo:misalnya ...

Pada tingkat panggilan sistem, ini harus dimungkinkan. Suatu program dapat membuka file target Anda untuk ditulis tanpa memotongnya dan mulai menulis apa yang dibaca dari stdin. Saat membaca EOF, file output dapat dipotong.

Karena Anda memfilter baris dari input, posisi penulisan file output harus selalu kurang dari posisi baca. Ini berarti Anda tidak boleh merusak input Anda dengan output baru.

Namun, menemukan program yang melakukan ini adalah masalahnya. dd(1)memiliki opsi conv=notruncyang tidak memotong file output saat terbuka, tetapi juga tidak memotong pada akhirnya, meninggalkan konten file asli setelah konten grep (dengan perintah seperti grep pattern bigfile | dd of=bigfile conv=notrunc)

Karena sangat sederhana dari perspektif system call, saya menulis sebuah program kecil dan mengujinya pada sistem loopback file penuh kecil (1MiB). Itu melakukan apa yang Anda inginkan, tetapi Anda benar-benar ingin menguji ini dengan beberapa file lain terlebih dahulu. Itu selalu akan berisiko menimpa file.

menimpa.c

/* This code is placed in the public domain by camh */

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>

int main(int argc, char **argv)
{
        int outfd;
        char buf[1024];
        int nread;
        off_t file_length;

        if (argc != 2) {
                fprintf(stderr, "usage: %s <output_file>\n", argv[0]);
                exit(1);
        }
        if ((outfd = open(argv[1], O_WRONLY)) == -1) {
                perror("Could not open output file");
                exit(2);
        }
        while ((nread = read(0, buf, sizeof(buf))) > 0) {
                if (write(outfd, buf, nread) == -1) {
                        perror("Could not write to output file");
                        exit(4);
                }
        }
        if (nread == -1) {
                perror("Could not read from stdin");
                exit(3);
        }
        if ((file_length = lseek(outfd, 0, SEEK_CUR)) == (off_t)-1) {
                perror("Could not get file position");
                exit(5);
        }
        if (ftruncate(outfd, file_length) == -1) {
                perror("Could not truncate file");
                exit(6);
        }
        close(outfd);
        exit(0);
}

Anda akan menggunakannya sebagai:

grep pattern bigfile | overwrite bigfile

Saya kebanyakan memposting ini untuk dikomentari oleh orang lain sebelum Anda mencobanya. Mungkin orang lain tahu tentang program yang melakukan hal serupa yang lebih teruji.

Anda dapat menggunakan seduntuk mengedit file di tempat (tapi ini memang membuat file sementara antara):

Untuk menghapus semua baris yang mengandung foo:

sed -i '/foo/d' myfile

Untuk menjaga semua baris yang mengandung foo:

sed -i '/foo/!d' myfile

Saya akan berasumsi bahwa perintah filter Anda adalah apa yang saya sebut filter prefix shrinking , yang memiliki properti yang byte N dalam output tidak pernah ditulis sebelum membaca setidaknya N byte input. grepmemiliki properti ini (asalkan hanya memfilter dan tidak melakukan hal-hal lain seperti menambahkan nomor baris untuk kecocokan). Dengan filter semacam itu, Anda dapat menimpa input saat Anda melanjutkan. Tentu saja, Anda harus yakin untuk tidak membuat kesalahan, karena bagian yang ditimpa pada awal file akan hilang selamanya.

Sebagian besar alat unix hanya memberikan pilihan untuk menambahkan file atau memotongnya, tanpa kemungkinan menimpanya. Satu-satunya pengecualian dalam kotak alat standar adalah dd, yang dapat dikatakan tidak memotong file outputnya. Jadi rencananya adalah menyaring perintah ke dd conv=notrunc. Ini tidak mengubah ukuran file, jadi kami juga mengambil panjang konten baru dan memotong file dengan panjang itu (lagi dengan dd). Perhatikan bahwa tugas ini pada dasarnya tidak kuat - jika terjadi kesalahan, Anda sendiri.

export LC_ALL=C
n=$({ grep -v foo <big_file |
      tee /dev/fd/3 |
      dd of=big_file conv=notrunc; } 3>&1 | wc -c)
dd if=/dev/null of=big_file bs=1 seek=$n

Anda dapat menulis Perl kasar yang setara. Berikut ini adalah implementasi cepat yang tidak mencoba menjadi efisien. Tentu saja, Anda mungkin ingin melakukan pemfilteran awal secara langsung dalam bahasa itu juga.

grep -v foo <big_file | perl -e '
  close STDOUT;
  open STDOUT, "+<", $ARGV[0] or die;
  while (<STDIN>) {print}
  truncate STDOUT, tell STDOUT or die
' big_file

Dengan shell seperti Bourne:

{
  cat < bigfile | grep -v to-exclude
  perl -e 'truncate STDOUT, tell STDOUT'
} 1<> bigfile

Untuk beberapa alasan, tampaknya orang cenderung melupakan operator pengalihan baca + tulis berusia 40 tahun dan standar .

Kami membuka bigfiledi baca modus + write dan (apa yang paling penting di sini) tanpa pemotongan pada stdoutsaat bigfileterbuka (secara terpisah) pada cat's stdin. Setelah grepdihentikan, dan jika telah menghapus beberapa baris, stdoutsekarang menunjuk ke suatu tempat di dalam bigfile, kita perlu menyingkirkan apa yang melampaui titik ini. Oleh karena itu perlperintah yang memotong file ( truncate STDOUT) pada posisi saat ini (seperti yang dikembalikan oleh tell STDOUT).

( catadalah untuk GNU grepyang sebaliknya mengeluh jika stdin dan stdout menunjuk ke file yang sama).

^{¹ Ya, meski <>sudah ada di kulit Bourne sejak awal di akhir tahun tujuh puluhan, awalnya tidak berdokumen dan tidak diimplementasikan dengan baik . Itu bukan dalam implementasi asli ashdari tahun 1989 dan, sementara itu adalah shoperator pengalihan POSIX (sejak awal 90-an sebagai POSIX shdidasarkan pada ksh88yang selalu memilikinya), itu tidak ditambahkan ke FreeBSD shmisalnya sampai tahun 2000, jadi 15 tahun lama mungkin lebih akurat. Perhatikan juga bahwa deskriptor file default ketika tidak ditentukan ada <>di semua shell, kecuali bahwa di ksh93dalamnya berubah dari 0 menjadi 1 di ksh93t + pada 2010 (melanggar kompatibilitas ke belakang dan kepatuhan POSIX)}

Meskipun ini adalah pertanyaan lama, menurut saya ini adalah pertanyaan abadi, dan solusi yang lebih umum, lebih jelas tersedia daripada yang telah dikemukakan sejauh ini. Kredit di mana kredit jatuh tempo: Saya tidak yakin saya akan memunculkannya tanpa mempertimbangkan Stéphane Chazelas tentang <>operator pembaruan.

Membuka file untuk pembaruan dalam shell Bourne adalah utilitas terbatas. Shell tidak memberi Anda cara untuk mencari pada file, dan tidak ada cara untuk mengatur panjang baru (jika lebih pendek dari yang lama). Tapi itu mudah diatasi, jadi mudah saya terkejut itu bukan salah satu utilitas standar di /usr/bin.

Ini bekerja:

$ grep -n foo T
8:foo
$ (exec 4<>T; grep foo T >&4 && ftruncate 4) && nl T; 
     1  foo

Seperti halnya ini (ujung topi ke Stéphane):

$ { grep foo T && ftruncate; } 1<>T  && nl T; 
     1  foo

(Saya menggunakan GNU grep. Mungkin ada yang berubah sejak dia menulis jawabannya.)

Kecuali, Anda tidak memiliki / usr / bin / ftruncate . Untuk beberapa lusin baris C, Anda bisa, lihat di bawah. Utilitas funcuncate ini memotong deskriptor file sewenang-wenang hingga panjang sewenang-wenang, default ke output standar dan posisi saat ini.

Perintah di atas (contoh 1)

• membuka file descriptor 4 pada Tuntuk pembaruan. Sama seperti dengan open (2), membuka file dengan cara ini menempatkan offset saat ini pada 0.
• grep kemudian memproses secara Tnormal, dan shell mengarahkan ulang outputnya ke Tmelalui deskriptor 4.
• ftruncate panggilan ftruncate (2) dari deskriptor 4, pengaturan panjang dengan nilai arus offset (persis di mana grep meninggalkannya).

Subshell kemudian keluar, deskriptor penutup 4. Berikut ini ftruncate :

#include <err.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int
main( int argc, char *argv[] ) {
  off_t i, fd=1, len=0;
  off_t *addrs[2] = { &fd, &len };

  for( i=0; i < argc-1; i++ ) {
    if( sscanf(argv[i+1], "%lu", addrs[i]) < 1 ) {
      err(EXIT_FAILURE, "could not parse %s as number", argv[i+1]);
    }
  }

  if( argc < 3 && (len = lseek(fd, 0, SEEK_CUR)) == -1 ) {
    err(EXIT_FAILURE, "could not ftell fd %d as number", (int)fd);
  }


  if( 0 != ftruncate((int)fd, len) ) {
    err(EXIT_FAILURE, argc > 1? argv[1] : "stdout");
  }

  return EXIT_SUCCESS;
}

NB, ftruncate (2) tidak dapat diport ketika digunakan dengan cara ini. Untuk generalitas absolut, baca byte tertulis terakhir, buka kembali file O_WRONLY, cari, tulis byte, dan tutup.

Mengingat bahwa pertanyaannya adalah 5 tahun, saya akan mengatakan solusi ini tidak jelas. Dibutuhkan dari eksekutif untuk membuka deskriptor baru, dan <>operator, yang keduanya misterius. Saya tidak bisa memikirkan utilitas standar yang memanipulasi inode oleh deskriptor file. (Sintaksnya bisa ftruncate >&4, tapi saya tidak yakin itu perbaikan.) Jauh lebih pendek dari jawaban yang kompeten dan kompeten camh. Itu hanya sedikit lebih jelas daripada Stéphane, IMO, kecuali jika Anda lebih suka Perl daripada saya. Saya harap seseorang menemukannya bermanfaat.

Cara berbeda untuk melakukan hal yang sama adalah versi lseek (2) yang dapat dieksekusi yang melaporkan offset saat ini; outputnya bisa digunakan untuk / usr / bin / truncate , yang disediakan oleh beberapa Linuxi.

ed mungkin merupakan pilihan yang tepat untuk mengedit file di tempat:

ed my_big_file << END_OF_ED_COMMANDS
g/foo:/d
w
q 
END_OF_ED_COMMANDS

Anda dapat menggunakan deskriptor file bash baca / tulis untuk membuka file Anda (untuk menimpanya di tempat), lalu seddan truncate... tetapi tentu saja, jangan pernah izinkan perubahan Anda menjadi lebih besar dari jumlah data yang dibaca sejauh ini .

Ini skripnya (using: bash variable $ BASHPID)

# Create a test file
  echo "going abc"  >junk
  echo "going def" >>junk
  echo "# ORIGINAL file";cat junk |tee >( wc=($(wc)); echo "# ${wc[0]} lines, ${wc[2]} bytes" ;echo )
#
# Assign file to fd 3, and open it r/w
  exec 3<> junk  
#
# Choose a unique filename to hold the new file size  and the pid 
# of the semi-asynchrounous process to which 'tee' streams the new file..  
  [[ ! -d "/tmp/$USER" ]] && mkdir "/tmp/$USER" 
  f_pid_size="/tmp/$USER/pid_size.$(date '+%N')" # %N is a GNU extension: nanoseconds
  [[ -f "$f_pid_size" ]] && { echo "ERROR: Work file already exists: '$f_pid_size'" ;exit 1 ; }
#
# run 'sed' output to 'tee' ... 
#  to modify the file in-situ, and to count the bytes  
  <junk sed -e "s/going //" |tee >(echo -n "$BASHPID " >"$f_pid_size" ;wc -c >>"$f_pid_size") >&3
#
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
# The byte-counting process is not a child-process, 
# so 'wait' doesn't work... but wait we must...  
  pid_size=($(cat "$f_pid_size")) ;pid=${pid_size[0]}  
  # $f_pid_size may initially contain only the pid... 
  # get the size when pid termination is assured
  while [[ "$pid" != "" ]] ; do
    if ! kill -0 "$pid" 2>/dev/null; then
       pid=""  # pid has terminated. get the byte count
       pid_size=($(cat "$f_pid_size")) ;size=${pid_size[1]}
    fi
  done
  rm "$f_pid_size"
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#
  exec 3>&- # close fd 3.
  newsize=$(cat newsize)
  echo "# MODIFIED file (before truncating)";cat junk |tee >( wc=($(wc)); echo "# ${wc[0]} lines, ${wc[2]} bytes" ;echo )  cat junk
#
 truncate -s $newsize junk
 echo "# NEW (truncated) file";cat junk |tee >( wc=($(wc)); echo "# ${wc[0]} lines, ${wc[2]} bytes" ;echo )  cat junk
#
exit

Ini adalah hasil tes

# ORIGINAL file
going abc
going def
# 2 lines, 20 bytes

# MODIFIED file (before truncating)
abc
def
c
going def
# 4 lines, 20 bytes

# NEW (truncated) file
abc
def
# 2 lines, 8 bytes

Saya akan memetakan file-memori, melakukan semuanya di tempat menggunakan char * pointer ke memori telanjang, kemudian menghapus peta file dan memotongnya.

Tidak persis in-situ tetapi - ini bisa digunakan dalam keadaan yang serupa.
Jika ruang disk adalah masalah, kompres file terlebih dahulu (karena ini adalah teks, ini akan memberikan pengurangan besar) kemudian gunakan sed (atau grep, atau apa pun) dengan cara biasa di tengah-tengah pipa kompres / kompres.

# Reduce size from ~35Gb to ~6Gb
$ gzip MyFile

# Edit file, creating another ~6Gb file
$ gzip -dc <MyFile.gz | sed -e '/foo/d' | gzip -c >MyEditedFile.gz

Demi siapa pun yang menelusuri pertanyaan ini, jawaban yang benar adalah berhenti mencari fitur shell yang tidak jelas yang berisiko merusak file Anda untuk mendapatkan peningkatan kinerja yang dapat diabaikan, dan alih-alih gunakan beberapa variasi dari pola ini:

grep "foo" file > file.new && mv file.new file

Hanya dalam situasi yang sangat tidak umum bahwa ini karena suatu alasan tidak layak, sebaiknya Anda dengan serius mempertimbangkan jawaban lain di halaman ini (walaupun mereka tentu menarik untuk dibaca). Saya akan mengakui bahwa teka-teki OP karena tidak memiliki ruang disk untuk membuat file kedua persis situasi seperti itu. Meskipun demikian, ada opsi lain yang tersedia, misalnya seperti yang disediakan oleh @Ed Randall dan @Basile Starynkevitch.

echo -e "$(grep pattern bigfile)" >bigfile