Saya memiliki skrip ksh yang mengembalikan daftar nilai yang panjang, baris baru dipisahkan, dan saya hanya ingin melihat nilai unik / berbeda. Apakah mungkin melakukan ini?
Misalnya, keluaran saya adalah sufiks file dalam direktori:
tar gz java gz java tar class class
Saya ingin melihat daftar seperti:
tar gz java class
Jawaban:
Anda mungkin ingin melihat uniqdan sortaplikasi.
./yourscript.ksh | sortir | uniq
(FYI, ya, semacam itu diperlukan di baris perintah ini, uniqhanya strip duplikat baris yang segera setelah satu sama lain)
EDIT:
Bertentangan dengan apa yang telah diposting oleh Aaron Digulla sehubungan dengan uniqopsi commandline:
Diberikan input berikut:
kelas botol botol botol tempat sampah tempat sampah Jawa
uniq akan menampilkan semua lini tepat sekali:
kelas botol tempat sampah Jawa
uniq -d akan menampilkan semua baris yang muncul lebih dari sekali, dan itu akan mencetaknya sekali:
botol tempat sampah
uniq -u akan menampilkan semua baris yang muncul tepat sekali, dan itu akan mencetaknya sekali:
kelas Jawa
sortmenampilkan -uversi untuk memberikan nilai unik juga.
uniqjahitan hanya memproses garis yang berdekatan (setidaknya secara default) yang berarti seseorang dapat sortmemasukkan sebelum makan uniq.
... | sort | uniqkarena dilakukan dalam satu kesempatan
Untuk kumpulan data yang lebih besar di mana penyortiran mungkin tidak diinginkan, Anda juga dapat menggunakan skrip perl berikut:
./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'Ini pada dasarnya hanya mengingat setiap output baris sehingga tidak menampilkannya lagi.
Ini memiliki keunggulan dibandingkan sort | uniqsolusi " " karena tidak diperlukan penyortiran di muka.
Dengan zsh Anda dapat melakukan ini:
% cat infile
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class
Atau Anda dapat menggunakan AWK:
% awk '!_[$0]++' infile
tar
more than one word
gz
java
class
awk(lihat stackoverflow.com/a/21200722/45375 untuk penjelasan) akan bekerja dengan file besar selama jumlah garis unik cukup kecil (karena garis unik disimpan dalam memori ). The zshsolusi membaca seluruh file ke dalam memori pertama, yang mungkin tidak menjadi pilihan dengan file besar. Juga, seperti yang ditulis, hanya garis-garis tanpa ruang tertanam yang ditangani dengan benar; untuk memperbaikinya, gunakan IFS=$'\n' read -d '' -r -A u <file; print -l ${(u)u}saja.
(IFS=$'\n' u=($(<infile)); print -l "${(u)u[@]}")
[@]akhiran untuk referensi semua elemen array - tampaknya - setidaknya pada versi 5 - berfungsi tanpa itu; atau apakah Anda hanya menambahkannya untuk kejelasan?
print -l "${(fu)$(<infile)}"
awkoutput sampel juga.
Pipa mereka melalui sortdan uniq. Ini menghapus semua duplikat.
uniq -dhanya memberikan duplikat, uniq -uhanya memberikan yang unik (duplikat strip).
uniq -uBUKAN perilaku default (lihat edit dalam jawaban saya untuk detail)
Dengan AWK yang dapat Anda lakukan, saya merasa lebih cepat daripada menyortir
./yourscript.ksh | awk '!a[$0]++'Unik, seperti yang diminta, (tetapi tidak diurutkan);
menggunakan lebih sedikit sumber daya sistem untuk kurang dari ~ 70 elemen (sebagaimana diuji dengan waktu);
ditulis untuk mengambil input dari stdin,
(atau memodifikasi dan memasukkan skrip lain):
(Bash)
bag2set () {
# Reduce a_bag to a_set.
local -i i j n=${#a_bag[@]}
for ((i=0; i < n; i++)); do
if [[ -n ${a_bag[i]} ]]; then
a_set[i]=${a_bag[i]}
a_bag[i]=$'\0'
for ((j=i+1; j < n; j++)); do
[[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
done
fi
done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
a_bag[i]=$e
i=$i+1
done
bag2set
echo "${a_set[@]}"
Saya mendapatkan kiat yang lebih baik untuk mendapatkan entri non-duplikat dalam file
awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u