Pertanyaan yang diberi tag «deduplication»

Saya mencari cara yang mudah (perintah atau serangkaian perintah, mungkin melibatkan find) untuk menemukan file duplikat di dua direktori, dan mengganti file dalam satu direktori dengan hardlink file di direktori lain. Inilah situasinya: Ini adalah server file tempat banyak orang menyimpan file audio, masing-masing pengguna memiliki folder sendiri. Terkadang beberapa …

137 files  hard-link  deduplication  duplicate-files 

Saya tidak punya pengalaman dengan btrfs, tetapi diiklankan untuk dapat menduplikasi file duplikat. Dalam aplikasi saya, saya perlu menduplikasi seluruh pohon direktori. Dari apa yang saya pelajari, btrf hanya menghapus duplikat dalam beberapa pemindaian pos, tidak segera. Bahkan hanya menggunakan cptampaknya tidak memicu de-duplikasi (setidaknya, dfmenunjukkan peningkatan penggunaan disk dalam …

14 cp  file-copy  btrfs  deduplication 

Mencari alat deduplikasi di Linux ada banyak, lihat misalnya halaman wiki ini . Allmost all scripts hanya melakukan deteksi, mencetak nama file duplikat atau menghapus file duplikat dengan menghubungkannya ke satu salinan. Dengan munculnya btrf akan ada pilihan lain: membuat salinan file (seperti cp reflink=always) CoW (copy-on-write ). Saya belum …

9 btrfs  deduplication 

Saya punya ~ 30k file. Setiap file berisi ~ 100 ribu baris. Garis tidak mengandung spasi. Baris-baris di dalam file individual diurutkan dan digandakan gratis. Tujuan saya: Saya ingin mencari semua semua duplikat garis di dua atau lebih file dan juga nama-nama file yang berisi entri digandakan. Solusi sederhana adalah …

9 shell-script  text-processing  performance  large-files  deduplication 

Bagaimana seseorang dapat menghasilkan file tar, sehingga konten file tar adalah blok-blok seperti di file asli, sehingga orang bisa mendapat manfaat dari deduplikasi tingkat blok ( https://unix.stackexchange.com/a/208847/9689 ) ? (Apakah saya benar bahwa tidak ada yang intrinsik dengan format tar yang mencegah kita mendapatkan manfaat seperti itu? Kalau tidak, jika …

8 btrfs  archive  deduplication 

Ini pertanyaan / jawaban memiliki beberapa solusi yang baik untuk menghapus baris identik dalam sebuah file, tapi tidak akan bekerja dalam kasus saya sejak dinyatakan duplikat garis memiliki catatan waktu. Apakah mungkin untuk memberitahu awk untuk mengabaikan 26 karakter pertama dari suatu baris dalam menentukan duplikat? Contoh: [Fri Oct 31 …

8 text-processing  awk  duplicate  deduplication 

Apa solusi yang tersedia untuk deduplikasi level level atau lebih detail? Ada yang berbasis file - dengan pendekatan "Copy-On-Write". Saya mencari level blok "copy-on-write", jadi saya bisa mencari blok umum secara berkala, atau - lebih disukai - bagian dari file, menggabungkannya dan menandai cara penggunaan Kontrak Karya. Apakah ada yang …

8 filesystems  deduplication