Hapus direktori besar yang berisi ribuan file secara efisien

Kami memiliki masalah dengan folder menjadi berat dengan ratusan ribu file kecil.

Ada begitu banyak file yang melakukan rm -rfpengembalian kesalahan dan sebaliknya yang perlu kita lakukan adalah sesuatu seperti:

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

Ini berfungsi tetapi sangat lambat dan terus-menerus gagal kehabisan memori.

Apakah ada cara yang lebih baik untuk melakukan ini? Idealnya saya ingin menghapus seluruh direktori tanpa mempedulikan konten di dalamnya.

Menggunakan rsync sangat cepat dan sederhana.

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

Jawaban @ sarath menyebutkan pilihan cepat lain: Perl! Tolok ukurnya lebih cepat dari rsync -a --delete.

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

Sumber:

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-the-tercepat-method-to-delete-files-in-linux

Seseorang di Twitter menyarankan menggunakan -deletebukannya-exec rm -f{} \;

Ini telah meningkatkan efisiensi perintah, masih menggunakan rekursi untuk melalui semuanya.

Bagaimana dengan sesuatu seperti: find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

Anda dapat membatasi jumlah file untuk dihapus sekaligus dengan mengubah argumen untuk parameter -n. Nama file dengan kosong juga disertakan.

Trik yang cerdas:

rsync -a --delete empty/ your_folder/

Ini super CPU intensif, tetapi sangat cepat. Lihat https://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html

Memperluas salah satu komentar, saya tidak berpikir Anda melakukan apa yang Anda pikir Anda lakukan.

Pertama saya membuat sejumlah besar file, untuk mensimulasikan situasi Anda:

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

Kemudian saya mencoba apa yang saya harapkan gagal, dan apa yang Anda lakukan dalam pertanyaan:

$ rm -r foo/*
bash: /bin/rm: Argument list too long

Tapi ini tidak bekerja:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Saya memiliki kesempatan untuk menguji -deletedibandingkan dengan -exec rm \{\} \;dan bagi saya -deleteadalah jawaban untuk masalah ini.

Menggunakan -deletemenghapus file dalam folder 400.000 file setidaknya 1.000 kali lebih cepat daripada rm.

Artikel 'Cara menghapus banyak file di linux' menunjukkan bahwa ini sekitar tiga kali lebih cepat, tetapi dalam pengujian saya perbedaannya jauh lebih dramatis.

Tentang -deleteopsi di atas: Saya menggunakannya untuk menghapus sejumlah besar file (1M + est) di folder temp yang saya buat dan secara tidak sengaja lupa untuk membersihkannya setiap malam. Saya mengisi disk / partisi saya secara tidak sengaja, dan tidak ada yang bisa menghapusnya kecuali find .perintahnya. Ini lambat, pada awalnya saya menggunakan:

find . -ls -exec rm {} \;

Tapi itu membutuhkan waktu yang EXTREME. Itu dimulai setelah sekitar 15 menit untuk menghapus beberapa file, tetapi tebakan saya adalah itu menghapus kurang dari 10 atau lebih per detik setelah akhirnya dimulai. Jadi, saya mencoba:

find . -delete

sebagai gantinya, dan saya membiarkannya berjalan sekarang. Tampaknya berjalan lebih cepat, meskipun itu sangat berat pada CPU yang perintah lainnya tidak. Sudah berjalan selama satu jam sekarang dan saya pikir saya mendapatkan ruang kembali pada drive saya dan partisi secara bertahap "melangsingkan" tetapi masih membutuhkan waktu yang sangat lama. Saya ragu itu berjalan 1.000 kali lebih cepat dari yang lain. Seperti dalam semua hal, saya hanya ingin menunjukkan pengorbanan dalam ruang vs waktu. Jika Anda memiliki bandwidth CPU untuk cadangan (kami lakukan) kemudian jalankan yang terakhir. Ini membuat CPU saya berjalan ( uptimelaporan):

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

Dan saya telah melihat rata-rata beban lebih dari 30,00 yang tidak baik untuk sistem yang sibuk, tetapi untuk kita yang biasanya dimuat dengan ringan, tidak apa-apa selama beberapa jam. Saya telah memeriksa sebagian besar hal lain di sistem dan masih responsif sehingga kami OK untuk saat ini.

Ada beberapa metode yang dapat digunakan untuk menghapus sejumlah besar file di linux,. Anda dapat menggunakan find dengan opsi hapus, yang lebih cepat dari opsi exec. Kemudian Anda dapat menggunakan perl unlink, kemudian bahkan rsync. Cara menghapus sejumlah besar file di linux

Pertimbangkan untuk menggunakan volume Btrfs dan hapus seluruh volume untuk direktori semacam itu dengan banyak file.

Atau Anda dapat membuat file gambar FS kemudian unmount dan menghapus file untuk menghapus semuanya sekaligus dengan sangat cepat.

Dengan asumsi telah parallelmenginstal GNU , saya telah menggunakan ini:

parallel rm -rf dir/{} ::: `ls -f dir/`

dan itu cukup cepat.

Menghapus direktori yang BENAR-BENAR BESAR membutuhkan pendekatan yang berbeda, seperti yang saya pelajari dari situs ini - Anda harus menggunakan ionice. Ini memastikan (dengan -c3) bahwa penghapusan hanya akan dilakukan ketika sistem memiliki IO-waktu untuk itu. Sistem Anda memuat tidak akan naik ke tinggi dan semuanya tetap responsif (meskipun waktu CPU saya untuk menemukan cukup tinggi sekitar 50%).

find <dir> -type f -exec ionice -c3 rm {} \;

ls -1 | xargs rm -rf 

harus berfungsi di dalam folder utama

Untuk petunjuk Izkata di atas:

Tapi ini tidak bekerja:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Ini hampir berhasil - atau mungkin berhasil - tetapi saya memiliki beberapa masalah dalam izin; file ada di server, tetapi saya masih tidak mengerti dari mana masalah izin ini berasal. Bagaimanapun, Terminal meminta konfirmasi pada setiap file. Jumlah file sekitar 20.000, jadi ini bukan pilihan. Setelah "-r" saya menambahkan opsi "-f", jadi seluruh perintahnya adalah " rm -r -f foldername / ". Kemudian itu tampaknya bekerja dengan baik. Saya seorang pemula dengan Terminal, tapi saya kira ini tidak apa-apa, kan? Terima kasih!

Tergantung pada seberapa baik Anda perlu menyingkirkan file-file itu, saya sarankan menggunakan shred.

$ shred -zuv folder

jika Anda ingin membersihkan direktori, tetapi Anda tidak dapat menghapusnya dan membuatnya kembali, saya sarankan memindahkannya dan membuatnya kembali secara instan.

mv folder folder_del
mkdir folder
rm -rf folder_del

ini lebih cepat, percaya atau tidak, karena hanya satu inode yang harus diubah. Ingat: Anda tidak dapat benar-benar memparalelkan rasa ini di komputer multicore. Itu datang ke akses disk, yang dibatasi oleh RAID atau apa pun.

Jika Anda memiliki jutaan file dan setiap solusi di atas membuat sistem Anda stres, Anda dapat mencoba inspirasi ini:

File nice_delete:

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

Dan sekarang hapus file:

find /path/to/folder -type f -exec ./nice_delete {} \+

Temukan akan membuat kumpulan (lihat getconf ARG_MAX) beberapa puluh ribu file dan meneruskannya nice_delete. Ini akan membuat batch yang lebih kecil untuk memungkinkan tidur ketika kelebihan terdeteksi.

Jika Anda hanya ingin menyingkirkan banyak file sesegera mungkin ls -f1 /path/to/folder/with/many/files/ | xargs rmmungkin bekerja dengan baik, tetapi lebih baik jangan jalankan di sistem produksi karena sistem Anda mungkin menjadi masalah IO dan aplikasi mungkin macet selama operasi penghapusan.

Script ini berfungsi dengan baik untuk banyak file dan seharusnya tidak mempengaruhi ioload sistem.

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done

Gunakan rm -rf directorysebagai ganti rm -rf *.

Kami awalnya melakukan rm -rf *sementara di direktori untuk menghapus konten dan berpikir itu secepat mungkin. Tapi kemudian, salah satu insinyur senior kami menyarankan agar kami tidak menggunakan tanda bintang ( *) dan meneruskannya di direktori induk, seperti rm -rf directory.

Setelah beberapa perdebatan sengit tentang bagaimana itu tidak akan membuat perbedaan, kami memutuskan untuk membandingkannya, bersama dengan metode penggunaan ketiga find. Inilah hasilnya:

time rm -rf *                   2m17.32s
time rm -rf directory           0m15.60s
time find directory -delete     0m16.97s

rm -rf directorysekitar 9 KALI LEBIH CEPAT daripada rm -rf *!

Singkatnya, kami membeli bir untuk insinyur itu!

Jadi sekarang kita gunakan rm -rf directory; mkdir directoryuntuk menghapus direktori dan membuatnya kembali.