Bagaimana cara mencetak hanya nilai duplikat dari file teks?

70

Misalkan ada kolom nilai numerik seperti berikut:

File1:

Saya ingin hasilnya:

3  
4

Artinya, hanya garis yang diulang. Apakah ada alat baris perintah untuk mengetahui ini di Linux? (NB: Nilai-nilai diurutkan secara numerik).

shell text-processing

— Pikiran aneh
sumber

3

Lihat man uniq.

— jasonwryan

Terkait, pertanyaan yang lebih sulit: Hapus garis duplikat berpasangan

— Wildcard

119

Anda dapat menggunakan uniq(1)ini:

uniq -d file.txt

Ini akan mencetak duplikat saja. File input perlu disortir sedemikian rupa sehingga semua duplikat berurutan (yang tampaknya), jadi jalankan melalui sortir terlebih dahulu jika tidak.

— camh
sumber

1

bagaimana jika saya ingin rangkap tiga hanya dicetak?

— MiNdFrEaK

8

@MiNdFrEaK sort | uniq -c | grep '^\s*3\s' | sed 's/^\s*[0-9]*\s*//'untuk rangkap tiga; ganti "3" dengan sembarang N untuk pelat-N

— full.stack.ex

@MiNdFrEaK sort | uniq -c | sed -n 's/^[[:blank:]]*3[[:blank:]]\{1,\}//p'untuk rangkap tiga

@camh dapatkah Anda melakukan ini pada file csv juga? hanya nilai kolom tertentu?

— NumenorForLife

1

sortir file.txt | uniq -d

— ron

1

Menggunakan uniqdan awk:

cat File1  | uniq -c | awk '$1 > 1 { print $2 }'

— Ricardo Reyes
sumber

6

Ini bekerja, tapi saya tidak melihat mengapa Anda menyalurkan output cat?

— Bernhard

1

tidak semua orang tahu yang dapat Anda lakukan uniq -c File1dan mirip dengan banyak alat lainnya. Mungkin itulah yang terjadi di sini.

— Matthias

1

Jalankan ini: perl -ne 'print if $a{$_}++' filename.txt

— Sanjay Nair
sumber

Ini memberi 3\n3\n4\n\4nuntuk input File1 yang jelas salah.

— yaegashi

Perl snip saya menemukan diri saya meninjau kembali menyediakan jumlah insiden setiap baris sehingga dapat disalurkan, disortir, dan disaring sesuai kebutuhan: perl -ne '$ a {$ _} ++; END {while (($ k, $ v) = setiap% a) {printf "% d \ t% s", $ v, $ k}} 'nama file

— Theophrastus

Apakah ada cara untuk melakukan itu pada kolom tertentu yang dipisahkan oleh pemisah bidang tertentu?

— Geremia

Seperti yang ditunjukkan oleh yaegashi, perbaikan kecil diperlukan untuk memenuhi persyaratan: perl -ne 'print if 1 == $ a {$ _} ++' filename.txt Di antara semua jawaban, itu adalah favorit saya, karena jawaban yang lain perlu memproses ulang semua data dengan semacam penuh. Jawaban ini memulai hasil keluaran dengan lebih cepat dan efisien.

— BOC

0

`uniq` mengharuskan daftar Anda untuk dipesan, urutkan default ke abjad

sort | uniq -d path/to/your/filename

atau

cat fileName | sort | uniq -d path/to/your/filename

— jasonleonhard
sumber

Bagaimana cara mencetak hanya nilai duplikat dari file teks?

uniq mengharuskan daftar Anda untuk dipesan, urutkan default ke abjad

`uniq` mengharuskan daftar Anda untuk dipesan, urutkan default ke abjad