Pertanyaan yang diberi tag «duplicate»

Apakah ada pencari gambar duplikat gratis dan open source untuk sistem berbasis Linux? Menemukan duplikat yang tepat (berdasarkan konten, bukan nama file) sudah cukup bagi saya, tetapi kemampuan untuk menemukan gambar yang serupa tentu akan bagus juga.

16 search  image-manipulation  images  duplicate 

Saya punya string seperti "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Saya ingin menghapus duplikat kata dari string maka hasilnya akan seperti "aaa,bbb,ccc" Saya mencoba Sumber kode ini $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Ini berfungsi dengan baik dengan nilai yang sama, tetapi ketika saya …

12 shell-script  shell  text-processing  xargs  duplicate 

Saya memiliki folder dengan duplikat (oleh md5sum( md5pada Mac)) file, dan saya ingin memilikicron pekerjaan dijadwalkan untuk menghapus yang ditemukan. Namun, saya terjebak pada bagaimana melakukan ini. Apa yang saya miliki sejauh ini: md5 -r * | sort Yang menghasilkan sesuatu seperti ini: 04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg 1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg 266ea304b15bf4a5650f95cf385b16de nebraskasupercell_fr-fr11286079811_1366x768.jpg 324735b755c40d332213899fa545c463 …

10 bash  shell-script  hashsum  duplicate 

Beberapa jurnal menghasilkan PDF yang berbeda untuk setiap unduhan. APS misalnya menyimpan waktu dan alamat IP dalam PDF. Atau ada versi kertas dengan tautan hyper dan satu dengan referensi teks. Bagaimana mungkin menemukan unduhan duplikat kertas dengan 90% konten yang sama pada sistem linux dengan menggunakan perangkat lunak sumber terbuka? …

9 scripting  pdf  imagemagick  duplicate 

Saya menjalankan Mac OSX dan mencoba menggunakan baris perintah untuk menemukan jumlah file yang saya miliki dengan nama yang sama. Saya mencoba menggunakan perintah berikut: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Itu tidak bekerja! Ketika saya melakukan hal berikut: find …

9 find  osx  filenames  duplicate  basename 

Saya memiliki perpustakaan musik besar-besaran (semua mp3), tetapi saya beberapa musiknya hampir sama tetapi: Mungkin satu atau dua detik lebih lama Sekitar 97% sama dengan lagu lain Atau bitrate lain. Apakah ada cara untuk menemukan duplikat ini? Seperti yang disebutkan mereka tidak memiliki ukuran, nama, atau SHA1-hash yang sama.

9 mp3  music  duplicate 

Ini pertanyaan / jawaban memiliki beberapa solusi yang baik untuk menghapus baris identik dalam sebuah file, tapi tidak akan bekerja dalam kasus saya sejak dinyatakan duplikat garis memiliki catatan waktu. Apakah mungkin untuk memberitahu awk untuk mengabaikan 26 karakter pertama dari suatu baris dalam menentukan duplikat? Contoh: [Fri Oct 31 …

8 text-processing  awk  duplicate  deduplication