Pertanyaan yang diberi tag «uniq»

Di mana-mana saya melihat seseorang perlu mendapatkan daftar unik yang disortir, mereka selalu mengirim pesan sort | uniq. Saya belum pernah melihat contoh di mana seseorang menggunakannya sort -u. Kenapa tidak? Apa bedanya, dan mengapa lebih baik menggunakan uniq daripada bendera unik untuk disortir?

120 bash  sort  uniq 

Saya sangat menikmati menggunakan control+rsecara rekursif mencari riwayat perintah saya. Saya telah menemukan beberapa opsi bagus yang ingin saya gunakan: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good for …

61 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Hasil yang saya butuhkan adalah untuk menampilkan semua baris dari file asli menghapus semua duplikat (bukan hanya yang berturut-turut), sambil mempertahankan …

40 text-processing  uniq 

Lapisan satu ini menghapus garis duplikat dari input teks tanpa pra-sortasi. Sebagai contoh: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Kode asli yang saya temukan di internet berbunyi: awk '!_[$0]++' Ini bahkan lebih membingungkan bagi saya karena saya mengambil _arti …

40 shell-script  awk  scripting  sort  uniq 

Berikut adalah perintah pada file acak dari pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | …

35 uniq 

Saya ada cara untuk menemukan semua file dalam direktori dengan nama file duplikat, terlepas dari casing (huruf besar dan / atau huruf kecil)?

17 find  uniq  case-sensitivity  duplicate-files 

Saya menemukan kasus penggunaan ini hari ini. Tampaknya sederhana pada pandangan pertama, tapi mengutak-atik sekitar dengan sort, uniq, seddan awkmengungkapkan bahwa itu trivial. Bagaimana saya bisa menghapus semua pasangan garis duplikat? Dengan kata lain, jika ada jumlah duplikat dari suatu baris tertentu, hapus semuanya; jika ada jumlah garis duplikat ganjil, …

16 text-processing  sed  uniq 

Pertanyaan saya mirip dengan pertanyaan ini tetapi dengan beberapa kendala yang berbeda: Saya memiliki \ndaftar kata terbatas besar - satu kata per baris. Ukuran file berkisar dari 2GB hingga 10GB. Saya perlu menghapus garis duplikat. Proses dapat mengurutkan daftar selama menghapus duplikat tetapi tidak diperlukan. Ada cukup ruang pada partisi …

16 linux  text-processing  uniq 

Saya memiliki beberapa kode lama dari tahun 2003 yang menggunakan -topsi untuk uniqperintah. Itu melempar kesalahan karena opsi itu mungkin tidak didukung lagi. Inilah bagian yang menggunakan perintah: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ …

15 uniq 

Saya memiliki file besar dalam format berikut: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Jika nilai-nilai di kolom 2 cocok, saya ingin menjumlahkan nilai-nilai di …

11 text-processing  awk  sort  uniq 

Saya memiliki file dengan satu kolom dengan nama yang berulang beberapa kali. Saya ingin menyingkat setiap pengulangan menjadi satu, sambil menjaga pengulangan lainnya dengan nama yang sama yang tidak berdekatan dengan pengulangan lainnya dengan nama yang sama. Misalnya saya ingin mengubah sisi kiri ke sisi kanan: Golgb1 Golgb1 Golgb1 Akna …

11 awk  sed  sort  uniq 

Apa yang terjadi dalam cuplikan kode berikut? Saya tidak mendapatkan hasil yang saya harapkan. Saya pikir itu adalah bug, tetapi itu terjadi untuk 2 program yang berbeda (uniq dan urutkan), jadi saya curiga ada hubungannya dengan ... well, saya tidak tahu apa .. maka pertanyaannya. 3 (dari 4) contoh pertama …

10 text-processing  sort  locale  unicode  uniq 

Saya mencoba naif: $ cat * | sort -u > /tmp/bla.txt yang gagal dengan: -bash: /bin/cat: Argument list too long Jadi untuk menghindari solusi konyol seperti (membuat file sementara yang sangat besar): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u > …

8 shell  sort  uniq 

Jika saya memiliki string "1 2 3 2 1" - atau sebuah array [1,2,3,2,1] - bagaimana saya bisa memilih nilai unik, yaitu "1 2 3 2 1" produces "1 2 3" atau [1,2,3,2,1] produces [1,2,3] Mirip dengan uniq tetapi uniq tampaknya bekerja pada seluruh baris, bukan pola dalam satu baris …

8 string  array  uniq  patterns 

Saya punya file teks besar (1,5 G), Saya ingin tahu apa alat tercepat dan lebih dapat diandalkan di Linux. Saya biasanya menggunakan: awk '!x[$0]++' file.txt Tetapi ketika saya menggunakan htopperintah saya melihat penggunaan memori saya meningkat. Saya ingin tahu apa yang tercepat dan lebih dapat diandalkan untuk file besar. uniq? …

8 sed  awk  memory  sort  uniq