Bagaimana uniq tidak cukup unik sehingga ada juga uniq --unique?

Berikut adalah perintah pada file acak dari pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Halaman manual tidak jelas tentang apa yang dilakukan -ubendera. Ada saran?

Versi pendek:

• uniq, tanpa -u, membuat setiap baris output menjadi unik.
• uniq -uhanya mencetak setiap baris unik dari input .

Versi yang sedikit lebih lama:

uniqadalah untuk berurusan dengan file-file yang memiliki duplikat baris, dan hanya ketika baris-baris tersebut muncul berturut-turut dalam input. Jadi, untuk keperluannya, garis yang unik adalah yang tidak terduplikasi dengan segera.

( uniqmemiliki memori jangka pendek yang sangat terbatas; ia tidak akan pernah ingat apakah suatu baris muncul lebih awal pada input, kecuali jika itu adalah baris yang sebelumnya langsung - inilah mengapa uniqsangat sering dipasangkan dengan sort).

Ketika bertemu dengan garis duplikat uniq,, tanpa -uarg, mencetak satu salinan dari garis itu. (Ini membuat setiap baris output menjadi unik ).

Dengan -uargumen itu, ia mencetak nol salinan dari garis itu - menjalankan duplikat hanya dihilangkan dari output.

uniqdengan -umelompati setiap baris yang memiliki duplikat. Demikian:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Biasanya, uniqmencetak garis paling banyak satu kali (dengan asumsi input diurutkan). Pilihan ini sebenarnya mencetak garis yang benar-benar unik (setelah tidak muncul lagi).

uniq POSIX spec menggambarkannya dengan jelas:

-u
    Suppress the writing of lines that are repeated in the input.

-uopsi buat uniquntuk tidak mencetak garis yang berulang.

Sebagian besar uniqimplementasi menggunakan perbandingan byte, sedangkan GNU uniqmenggunakan urutan pemeriksaan untuk memfilter garis yang diduplikasi. Sehingga dapat menghasilkan hasil yang salah di beberapa lokal, misalnya di en_US.UTF-8lokal:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

dan tidak -umemberi Anda garis:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Jadi, Anda harus mengatur lokal Cuntuk mendapatkan perbandingan byte:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

normal:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: tidak ada dua baris berulang berikutnya

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

disortir

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: tidak ada dua baris yang berulang

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: semuanya berbeda

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

menghitung kejadian berbeda

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

hanya baris yang tidak diulang (tidak diurutkan terlebih dahulu)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

hanya garis yang tidak diulang (setelah disortir)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: hanya mencetak garis duplikat, satu untuk setiap grup

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. dihitung

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c