Perintah Unix untuk menemukan baris yang umum di dua file

Saya yakin saya pernah menemukan perintah unix yang dapat mencetak baris umum dari dua atau lebih file, apakah ada yang tahu namanya? Itu jauh lebih sederhana daripada diff.

Perintah yang Anda cari adalah comm. misalnya:-

comm -12 1.sorted.txt 2.sorted.txt

Sini:

-1 : tekan kolom 1 (baris unik ke 1.sorted.txt)

-2 : tekan kolom 2 (baris unik ke 2.sorted.txt)

Untuk dengan mudah menerapkan perintah comm ke file yang tidak disortir , gunakan subtitusi proses Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Jadi file abc dan def memiliki satu baris yang sama, yang dengan "132". Menggunakan comm pada file yang tidak disortir:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Baris terakhir tidak menghasilkan output, baris umum tidak ditemukan.

Sekarang gunakan comm pada file yang diurutkan, mengurutkan file dengan proses substitusi:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Sekarang kami dapat jalur 132!

Untuk melengkapi Perl one-liner, inilah awkpersamaannya:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Ini akan membaca semua baris dari file1dalam array arr[], dan kemudian memeriksa setiap baris file2jika sudah ada dalam array (yaitu file1). Garis-garis yang ditemukan akan dicetak sesuai urutan kemunculannya file2. Perhatikan bahwa perbandingan in arrmenggunakan seluruh baris dari file2sebagai indeks ke array, sehingga hanya akan melaporkan kecocokan tepat pada seluruh baris.

Mungkin maksud Anda comm?

Bandingkan file yang diurutkan FILE1 dan FILE2 baris demi baris.

Tanpa opsi, hasilkan output tiga kolom. Kolom satu berisi baris unik untuk FILE1, kolom dua berisi baris unik untuk FILE2, dan kolom tiga berisi baris yang umum untuk kedua file.

Rahasia dalam menemukan informasi ini adalah halaman info. Untuk program GNU, mereka jauh lebih detail daripada halaman manualnya. Coba info coreutilsdan itu akan mencantumkan Anda semua utilitas kecil yang bermanfaat.

Sementara

grep -v -f 1.txt 2.txt > 3.txt

memberi Anda perbedaan dua file (apa yang ada di 2.txt dan bukan di 1.txt), Anda dapat dengan mudah melakukan a

grep -f 1.txt 2.txt > 3.txt

untuk mengumpulkan semua jalur umum, yang seharusnya memberikan solusi mudah untuk masalah Anda. Jika Anda memiliki file yang diurutkan, Anda harus mengambil comm. Salam!

Jika kedua file belum diurutkan, Anda dapat menggunakan:

comm -12 <(sort a.txt) <(sort b.txt)

dan itu akan berhasil, menghindari pesan kesalahan comm: file 2 is not in sorted order saat melakukan comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Pada versi Linux yang terbatas (seperti QNAP (nas) yang saya kerjakan):

• comm tidak ada
• grep -f file1 file2dapat menyebabkan beberapa masalah seperti yang dikatakan oleh @ChristopherSchultz dan penggunaannya grep -F -f file1 file2sangat lambat (lebih dari 5 menit - belum selesai - lebih dari 2-3 detik dengan metode di bawah ini pada file di atas 20MB)

Jadi inilah yang saya lakukan:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Jika files.same.sortedharus dalam urutan yang sama dari yang asli, daripada tambahkan baris ini untuk urutan yang sama dari file1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

atau, untuk urutan yang sama dari file2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Hanya untuk referensi jika seseorang masih mencari cara melakukan ini untuk banyak file, lihat jawaban tertaut untuk Menemukan garis yang cocok di banyak file.

Menggabungkan dua jawaban ini ( ans1 dan ans2 ), saya pikir Anda bisa mendapatkan hasil yang Anda butuhkan tanpa mengurutkan file:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Cukup simpan, berikan hak eksekusi ( chmod +x compareFiles.sh), dan jalankan. Ini akan mengambil semua file yang ada di direktori kerja saat ini dan akan membuat perbandingan semua-vs-semua meninggalkan dalam file "matching_lines" hasilnya.

Hal-hal yang harus diperbaiki:

• Lewati direktori
• Hindari membandingkan semua file dua kali (file1 vs file2 dan file2 vs file1).
• Mungkin menambahkan nomor baris di sebelah string yang cocok

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Ini harus dilakukan.