Menghapus baris dari satu file yang ada di file lain

Saya punya file f1:

line1
line2
line3
line4
..
..

Saya ingin menghapus semua baris yang ada di file lain f2:

line2
line8
..
..

Saya mencoba sesuatu dengan catdan sed, yang bahkan tidak mendekati apa yang saya inginkan. Bagaimana saya bisa melakukan ini?

grep -v -x -f f2 f1 harus melakukan triknya.

Penjelasan:

• -v untuk memilih garis yang tidak cocok
• -x untuk mencocokkan hanya seluruh baris
• -f f2 untuk mendapatkan pola dari f2

Sebagai gantinya, seseorang dapat menggunakan grep -Fatau fgrepuntuk mencocokkan string tetap dari f2alih-alih pola (jika Anda ingin menghapus garis dengan cara "apa yang Anda lihat jika apa yang Anda dapatkan" daripada memperlakukan garis f2sebagai pola regex).

Coba gunakan komunikasi (dengan asumsi f1 dan f2 "sudah diurutkan")

comm -2 -3 f1 f2

Untuk mengecualikan file yang tidak terlalu besar, Anda dapat menggunakan array asosiatif AWK.

awk 'NR == FNR { list[tolower($0)]=1; next } { if (! list[tolower($0)]) print }' exclude-these.txt from-this.txt 

Outputnya akan berada dalam urutan yang sama dengan file "from-this.txt". The tolower()Fungsi membuatnya case-sensitive, jika Anda membutuhkan.

Kompleksitas algoritmik mungkin adalah O (n) (exclude-these.txt size) + O (n) (from-this.txt size)

Mirip dengan jawaban Dennis Williamson (sebagian besar perubahan sintaksis, misalnya mengatur nomor file secara eksplisit daripada NR == FNRtriknya):

awk '{if (f==1) { r[$0] } else if (! ($0 in r)) { print $0 } } ' f=1 exclude-these.txt f=2 from-this.txt

Mengakses r[$0]membuat entri untuk baris itu, tidak perlu menyetel nilai.

Dengan asumsi awk menggunakan tabel hash dengan pencarian konstan dan waktu pembaruan konstan (rata-rata), kompleksitas waktu ini adalah O (n + m), di mana n dan m adalah panjang file. Dalam kasus saya, n adalah ~ 25 juta dan m ~ 14000. Solusi awk jauh lebih cepat daripada menyortir, dan saya juga lebih suka menyimpan pesanan aslinya.

jika Anda memiliki Ruby (1.9+)

#!/usr/bin/env ruby 
b=File.read("file2").split
open("file1").each do |x|
  x.chomp!
  puts x if !b.include?(x)
end

Yang memiliki kompleksitas O (N ^ 2). Jika Anda ingin peduli dengan kinerja, inilah versi lain

b=File.read("file2").split
a=File.read("file1").split
(a-b).each {|x| puts x}

yang menggunakan hash untuk melakukan pengurangan, begitu juga kompleksitas O (n) (ukuran a) + O (n) (ukuran b)

berikut sedikit patokan, milik pengguna576875, tetapi dengan 100K baris, di atas:

$ for i in $(seq 1 100000); do echo "$i"; done|sort --random-sort > file1
$ for i in $(seq 1 2 100000); do echo "$i"; done|sort --random-sort > file2
$ time ruby test.rb > ruby.test

real    0m0.639s
user    0m0.554s
sys     0m0.021s

$time sort file1 file2|uniq -u  > sort.test

real    0m2.311s
user    0m1.959s
sys     0m0.040s

$ diff <(sort -n ruby.test) <(sort -n sort.test)
$

diff digunakan untuk menunjukkan tidak ada perbedaan antara 2 file yang dihasilkan.

Beberapa perbandingan waktu antara berbagai jawaban lainnya:

$ for n in {1..10000}; do echo $RANDOM; done > f1
$ for n in {1..10000}; do echo $RANDOM; done > f2
$ time comm -23 <(sort f1) <(sort f2) > /dev/null

real    0m0.019s
user    0m0.023s
sys     0m0.012s
$ time ruby -e 'puts File.readlines("f1") - File.readlines("f2")' > /dev/null

real    0m0.026s
user    0m0.018s
sys     0m0.007s
$ time grep -xvf f2 f1 > /dev/null

real    0m43.197s
user    0m43.155s
sys     0m0.040s

sort f1 f2 | uniq -u bahkan bukan perbedaan simetris, karena menghapus garis yang muncul beberapa kali di salah satu file.

comm juga bisa digunakan dengan stdin dan di sini string:

echo $'a\nb' | comm -23 <(sort) <(sort <<< $'c\nb') # a

Sepertinya pekerjaan yang cocok untuk shell SQLite:

create table file1(line text);
create index if1 on file1(line ASC);
create table file2(line text);
create index if2 on file2(line ASC);
-- comment: if you have | in your files then specify “ .separator ××any_improbable_string×× ”
.import 'file1.txt' file1
.import 'file2.txt' file2
.output result.txt
select * from file2 where line not in (select line from file1);
.q

Apakah Anda mencoba ini dengan sed?

sed 's#^#sed -i '"'"'s%#g' f2 > f2.sh

sed -i 's#$#%%g'"'"' f1#g' f2.sh

sed -i '1i#!/bin/bash' f2.sh

sh f2.sh

Bukan jawaban 'pemrograman', tetapi inilah solusi cepat dan kotor: kunjungi saja http://www.listdiff.com/compare-2-lists-difference-tool .

Jelas tidak akan berfungsi untuk file besar tetapi itu berhasil untuk saya. Beberapa catatan:

• Saya tidak berafiliasi dengan situs web ini dengan cara apa pun (jika Anda masih tidak mempercayai saya, Anda dapat mencari alat lain secara online; saya menggunakan istilah penelusuran "setel daftar perbedaan secara online")
• Situs web yang ditautkan tampaknya melakukan panggilan jaringan pada setiap perbandingan daftar, jadi jangan memberinya data sensitif apa pun