Periksa semua baris file unik

Saya memiliki file teks yang berisi baris seperti ini:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Bagaimana saya bisa yakin akan keunikan setiap baris?

CATATAN: Tujuannya adalah untuk menguji file, bukan untuk memodifikasinya jika ada duplikat baris.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Solusi awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Menggunakan sort/ uniq:

sort input.txt | uniq

Untuk memeriksa hanya garis duplikat, gunakan -dopsi untuk uniq. Ini hanya akan menampilkan baris yang duplikat, jika tidak ada yang tidak akan menunjukkan apa-apa:

sort input.txt | uniq -d

TLDR

Pertanyaan aslinya tidak jelas, dan membaca bahwa OP hanya menginginkan versi unik dari isi file. Itu ditunjukkan di bawah ini. Dalam bentuk pertanyaan sejak diperbarui, OP sekarang menyatakan bahwa ia hanya ingin tahu apakah isi file itu unik atau tidak.

Uji apakah konten file unik atau tidak

Anda cukup menggunakan sortuntuk memverifikasi apakah file itu unik atau mengandung duplikat seperti:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Contoh

Katakanlah saya punya dua file ini:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Sekarang ketika kami menganalisis file-file ini, kami dapat mengetahui apakah mereka unik atau mengandung duplikat:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Pertanyaan asli (konten unik file)

Dapat dilakukan hanya dengan sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Saya biasanya sortfile, lalu gunakan uniquntuk menghitung jumlah duplikat, maka saya sortsekali lagi melihat duplikat di bagian bawah daftar.

Saya menambahkan satu duplikat ke contoh yang Anda berikan:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Karena saya belum membaca halaman manual untuk uniqsementara waktu, saya mengambil cepat mencari alternatif. Berikut ini menghilangkan kebutuhan untuk jenis kedua, jika Anda hanya ingin melihat duplikat:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Jika tidak ada duplikat, semua baris unik:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Deskripsi: Mengurutkan baris file untuk membuat garis yang diulang berturut-turut (urut)
Ekstrak semua baris berurutan yang sama (uniq -d).
Jika ada output dari perintah di atas ( [...]), maka ( &&) cetak pesan.

Ini tidak akan lengkap tanpa jawaban Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Ini akan mencetak setiap baris non-unik sekali: jadi jika tidak mencetak apa-apa, maka file memiliki semua baris unik.

Menggunakan cmpdan sortdalam bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

atau

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Ini akan mengurutkan file dua kali, sama seperti jawaban yang diterima.