Hapus semua kecuali 1000 file acak dalam direktori

Saya membiarkan skrip pembuatan data berjalan terlalu lama sekarang memiliki 200.000 file yang saya butuhkan dikurangi menjadi sekitar 1000. Dari baris perintah Linux, apakah ada cara mudah untuk menghapus semua kecuali 1000 file ini, di mana file yang akan dipertahankan tidak akan memiliki ketergantungan pada nama file atau atribut lainnya?

Hapus semua kecuali 1000 file acak dalam direktori

Kode:

find /path/to/dir -type f -print0 | sort -zR | tail -zn +1001 | xargs -0 rm

Penjelasan:

1. Daftar semua file /path/to/dirdengan find;
   • print0: gunakan \0( karakter nol ) sebagai pembatas garis; jadi jalur file yang berisi spasi / baris baru tidak merusak skrip
2. Kocok daftar file dengan sort;
   • -z: gunakan \0(karakter nol) sebagai pembatas, alih-alih \n(baris baru)
   • -R: pesanan acak
3. Lepaskan 1000 baris pertama dari daftar acak dengan tail;
   • -z: memperlakukan daftar sebagai nol-dibatasi (sama dengan dengan sort)
   • -n +1001: tampilkan baris mulai dari 1001 (mis. hilangkan 1000 baris pertama)
4. xargs -0 rm - hapus file yang tersisa;
   • -0: nol-dibatasi, lagi

Mengapa lebih baik daripada solusi quixotic *:

1. Bekerja dengan nama file yang mengandung spasi / baris baru.
2. Tidak mencoba membuat direktori apa pun (yang mungkin sudah ada, btw.)
3. Tidak memindahkan file apa pun, bahkan tidak menyentuh 1000 "file keberuntungan" selain mendaftarkannya find.
4. Hindari kehilangan file jika output findtidak diakhiri dengan \n(baris baru) karena beberapa alasan.

* - kredit untuk quixotic untuk | sort -R | head -1000, memberi saya titik awal.

Gunakan direktori sementara, lalu findsemua file Anda, acak daftar dengan sort, dan pindahkan 1000 teratas daftar ke direktori sementara. Hapus sisanya, lalu pindahkan file kembali dari direktori sementara.

$ mkdir ../tmp-dir
$ find . -type f | sort -R | head -1000 | xargs -I "I" mv I ../tmp-dir/
$ rm ./*
$ mv ../tmp-dir/* .

Jika xargsmengeluh tentang panjang garis, menggunakan sejumlah kecil dengan headdan ulangi perintah yang diperlukan (yaitu, perubahan -1000ke -500dan menjalankannya dua kali, atau perubahan -200dan menjalankannya 5 kali.)

Ini juga akan gagal menangani nama file yang menyertakan spasi; sebagai @ rld ini jawaban menunjukkan, Anda dapat menggunakan find's -print0argumen, -zargumen untuk sortdan head, dan -0dengan xargsuntuk memastikan penanganan nama file yang tepat.

Akhirnya, jika tmp-dirsudah ada, Anda harus mengganti nama direktori yang tidak ada.

Untuk pengguna mac, skrip berikut harus dilakukan.

find . -type f -print0 | tr '\0' '\n' | sort -R | tail -n +10000 | tr '\n' '\0' | xargs -0 rm

trakan memungkinkan sort dan tail untuk mengerjakan daftar dengan \nalih - alih \0.

Cara termudah adalah dengan rm -rf direktori, lalu jalankan kembali skrip pembuatan data sambil memastikan tidak berjalan terlalu lama.