Penghitungan file secara rekursif dalam direktori Linux

Bagaimana saya bisa menghitung file dalam direktori Linux secara rekursif?

Aku menemukan ini:

find DIR_NAME -type f ¦ wc -l

Tetapi ketika saya menjalankan ini mengembalikan kesalahan berikut.

find: path harus mendahului ekspresi: ¦

Ini seharusnya bekerja:

find DIR_NAME -type f | wc -l

Penjelasan:

• -type f untuk hanya menyertakan file.
• |( dan tidak¦ ) mengarahkan findoutput standar wcperintah ke input standar perintah.
• wc(kependekan dari jumlah kata) menghitung baris baru, kata dan byte pada inputnya ( dokumen ).
• -l hanya menghitung baris baru.

Catatan:

• Ganti DIR_NAMEdengan .untuk mengeksekusi perintah di folder saat ini.
• Anda juga dapat menghapus -type funtuk memasukkan direktori (dan symlink) dalam hitungan.
• Mungkin perintah ini akan menghitung berlebihan jika nama file dapat berisi karakter baris baru.

Penjelasan mengapa contoh Anda tidak berfungsi:

Pada perintah yang Anda tunjukkan, Anda tidak menggunakan "Pipa" ( |) untuk menghubungkan dua perintah, tetapi bilah yang rusak ( ¦) yang shell tidak kenali sebagai perintah atau yang serupa. Itu sebabnya Anda mendapatkan pesan kesalahan itu.

Untuk direktori saat ini:

find -type f | wc -l

Jika Anda ingin rincian berapa banyak file dalam setiap dir di bawah dir Anda saat ini:

for i in */ .*/ ; do 
    echo -n $i": " ; 
    (find "$i" -type f | wc -l) ; 
done

Itu bisa dilakukan semua dalam satu baris, tentu saja. Tanda kurung mengklarifikasi keluaran siapa wc -lyang seharusnya ditonton ( find $i -type fdalam hal ini).

Kamu bisa menggunakan

$ tree

setelah menginstal paket tree dengan

$ sudo apt-get install tree

(pada mesin Linux Debian / Mint / Ubuntu).

Perintah tidak hanya menampilkan jumlah file, tetapi juga jumlah direktori, secara terpisah. Opsi -L dapat digunakan untuk menentukan tingkat tampilan maksimum (yang, secara default, adalah kedalaman maksimum pohon direktori).

File tersembunyi juga dapat disertakan dengan menyediakan -aopsi.

Di komputer saya, rsyncsedikit lebih cepat daripada find | wc -ldi jawaban yang diterima:

$ rsync --stats --dry-run -ax /path/to/dir /tmp

Number of files: 173076
Number of files transferred: 150481
Total file size: 8414946241 bytes
Total transferred file size: 8414932602 bytes

Baris kedua memiliki jumlah file, 150.481 dalam contoh di atas. Sebagai bonus, Anda mendapatkan ukuran total juga (dalam byte).

Catatan:

• baris pertama adalah hitungan file, direktori, symlink, dll semuanya, itu sebabnya lebih besar dari baris kedua.
• opsi --dry-run(atau -nsingkatnya) penting untuk tidak benar-benar mentransfer file!
• Saya menggunakan -xopsi untuk "jangan melewati batas filesystem", yang berarti jika Anda menjalankannya /dan Anda memiliki hard disk eksternal yang terpasang, itu hanya akan menghitung file pada partisi root.

Karena nama file di UNIX dapat berisi baris baru (ya, baris baru), wc -l mungkin menghitung terlalu banyak file. Saya akan mencetak titik untuk setiap file dan kemudian menghitung titik:

find DIR_NAME -type f -printf "." | wc -c

Menggabungkan beberapa jawaban di sini bersama-sama, solusi yang paling berguna tampaknya adalah:

find . -maxdepth 1 -type d -print0 |
xargs -0 -I {} sh -c 'echo -e $(find "{}" -printf "\n" | wc -l) "{}"' |
sort -n

Ini dapat menangani hal-hal aneh seperti nama file yang menyertakan kurung spasi dan bahkan baris baru. Ini juga mengurutkan output berdasarkan jumlah file.

Anda dapat menambah jumlahnya setelah -maxdepthmendapatkan sub direktori yang dihitung juga. Perlu diingat bahwa ini berpotensi memakan waktu lama, terutama jika Anda memiliki struktur direktori yang sangat bersarang dalam kombinasi dengan angka yang tinggi -maxdepth.

Jika Anda ingin tahu berapa banyak file dan sub-direktori dari direktori kerja ini, Anda dapat menggunakan one-liner ini

find . -maxdepth 1 -type d -print0 | xargs -0 -I {} sh -c 'echo -e $(find {} | wc -l) {}' | sort -n

Ini akan berfungsi dalam GNU flavor, dan hanya menghilangkan -e dari perintah echo untuk BSD linux (misalnya OSX).

Jika Anda ingin menghindari kasus kesalahan, jangan izinkan wc -lmelihat file dengan baris baru (yang akan dihitung sebagai 2+ file)

mis. Pertimbangkan kasus di mana kita memiliki satu file dengan karakter EOL tunggal di dalamnya

> mkdir emptydir && cd emptydir
> touch $'file with EOL(\n) character in it'
> find -type f
./file with EOL(?) character in it
> find -type f | wc -l
2

Karena setidaknya gnu wctampaknya tidak memiliki opsi untuk membaca / menghitung daftar nol yang dihentikan (kecuali dari file), solusi termudah adalah dengan tidak memberikannya nama file, tetapi output statis setiap kali file ditemukan, misalnya dalam direktori yang sama seperti di atas

> find -type f -exec printf '\n' \; | wc -l
1

Atau jika Anda findmendukungnya

> find -type f -printf '\n' | wc -l
1 

Anda bisa menggunakan perintah ncdu. Ini akan secara rekursif menghitung berapa banyak file yang berisi direktori Linux. Ini adalah contoh dari output:

Ini memiliki bilah kemajuan, yang nyaman jika Anda memiliki banyak file:

Untuk menginstalnya di Ubuntu:

sudo apt-get install -y ncdu

Benchmark: Saya menggunakan https://archive.org/details/cv_corpus_v1.tar (380390 file, 11 GB) sebagai folder di mana seseorang harus menghitung jumlah file.

• find . -type f | wc -l: sekitar 1m20s untuk menyelesaikan
• ncdu: sekitar 1m20s untuk menyelesaikan

tree $DIR_PATH | tail -1

Output sampel:

5309 direktori, 2122 file

Untuk menentukan berapa banyak file yang ada di direktori saat ini, masukkan ls -1 | wc -l. Ini digunakan wcuntuk melakukan hitungan jumlah baris (-l)dalam output ls -1. Itu tidak menghitung dotfile. Harap dicatat bahwals -l (itu "L" daripada "1" seperti pada contoh sebelumnya) yang saya gunakan dalam versi HOWTO ini sebelumnya akan benar-benar memberi Anda jumlah file yang lebih besar dari jumlah sebenarnya. Terima kasih kepada Kam Nejad untuk poin ini.

Jika Anda hanya ingin menghitung file dan TIDAK menyertakan tautan simbolik (hanya contoh apa yang bisa Anda lakukan), Anda bisa menggunakan ls -l | grep -v ^l | wc -l(itu "L" bukan "1" kali ini, kami ingin daftar "panjang" di sini) . grepmemeriksa baris yang dimulai dengan "l" (menunjukkan tautan), dan membuang baris itu (-v).

Kecepatan relatif: "ls -1 / usr / bin / | wc -l" membutuhkan waktu sekitar 1,03 detik pada 486SX25 yang tidak dimuat (/ usr / bin / pada mesin ini memiliki 355 file). "ls -l /usr/bin/ | grep -v ^l | wc -l " membutuhkan waktu sekitar 1,19 detik.

Sumber: http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x700.html

Jika yang Anda butuhkan adalah menghitung jenis file tertentu secara rekursif , Anda dapat melakukannya:

find YOUR_PATH -name '*.html' -type f | wc -l 

-l hanya untuk menampilkan jumlah baris dalam output.

Dengan bash:

Buat larik entri dengan () dan dapatkan hitungan dengan #.

FILES=(./*); echo ${#FILES[@]}

Ok itu tidak menghitung file secara rekursif tapi saya ingin menunjukkan opsi sederhana terlebih dahulu. Kasus penggunaan umum mungkin untuk membuat cadangan rollover file. Ini akan membuat logfile.1, logfile.2, logfile.3 dll.

CNT=(./logfile*); mv logfile logfile.${#CNT[@]}

Hitungan rekursif dengan bash 4+ globstardiaktifkan (seperti yang disebutkan oleh @tripleee)

FILES=(**/*); echo ${#FILES[@]}

Untuk mendapatkan jumlah file secara rekursif kita masih bisa menggunakan find dengan cara yang sama.

FILES=(`find . -type f`); echo ${#FILES[@]}

Untuk direktori dengan spasi pada namanya ... (berdasarkan berbagai jawaban di atas) - cetak nama direktori secara rekursif dengan jumlah file di dalamnya:

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done

Contoh (diformat untuk dibaca):

pwd
  /mnt/Vancouver/Programming/scripts/claws/corpus

ls -l
  total 8
  drwxr-xr-x 2 victoria victoria 4096 Mar 28 15:02 'Catabolism - Autophagy; Phagosomes; Mitophagy'
  drwxr-xr-x 3 victoria victoria 4096 Mar 29 16:04 'Catabolism - Lysosomes'

ls 'Catabolism - Autophagy; Phagosomes; Mitophagy'/ | wc -l
  138

## 2 dir (one with 28 files; other with 1 file):
ls 'Catabolism - Lysosomes'/ | wc -l
  29

Struktur direktori lebih baik divisualisasikan menggunakan tree:

tree -L 3 -F .
  .
  ├── Catabolism - Autophagy; Phagosomes; Mitophagy/
  │   ├── 1
  │   ├── 10
  │   ├── [ ... SNIP! (138 files, total) ... ]
  │   ├── 98
  │   └── 99
  └── Catabolism - Lysosomes/
      ├── 1
      ├── 10
      ├── [ ... SNIP! (28 files, total) ... ]
      ├── 8
      ├── 9
      └── aaa/
          └── bbb

  3 directories, 167 files

man find | grep mindep
  -mindepth levels
    Do not apply any tests or actions at levels less than levels
    (a non-negative integer).  -mindepth 1 means process all files
    except the starting-points.

ls -p | grep -v /(Digunakan di bawah) berasal dari jawaban 2 di /unix/48492/list-only-regular-files-but-not-directories-in-current-directory

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done
./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
./Catabolism - Lysosomes: 28
./Catabolism - Lysosomes/aaa: 1

Applcation: Saya ingin mencari jumlah file maksimum di antara beberapa ratus direktori (all depth = 1) [output di bawah ini diformat lagi untuk dibaca]:

date; pwd
    Fri Mar 29 20:08:08 PDT 2019
    /home/victoria/Mail/2_RESEARCH - NEWS

time find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done > ../../aaa
    0:00.03

[victoria@victoria 2_RESEARCH - NEWS]$ head -n5 ../../aaa
    ./RNA - Exosomes: 26
    ./Cellular Signaling - Receptors: 213
    ./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
    ./Stress - Physiological, Cellular - General: 261
    ./Ancient DNA; Ancient Protein: 34

[victoria@victoria 2_RESEARCH - NEWS]$ sed -r 's/(^.*): ([0-9]{1,8}$)/\2: \1/g' ../../aaa | sort -V | (head; echo ''; tail)

    0: ./Genomics - Gene Drive
    1: ./Causality; Causal Relationships
    1: ./Cloning
    1: ./GenMAPP 2
    1: ./Pathway Interaction Database
    1: ./Wasps
    2: ./Cellular Signaling - Ras-MAPK Pathway
    2: ./Cell Death - Ferroptosis
    2: ./Diet - Apples
    2: ./Environment - Waste Management

    988: ./Genomics - PPM (Personalized & Precision Medicine)
    1113: ./Microbes - Pathogens, Parasites
    1418: ./Health - Female
    1420: ./Immunity, Inflammation - General
    1522: ./Science, Research - Miscellaneous
    1797: ./Genomics
    1910: ./Neuroscience, Neurobiology
    2740: ./Genomics - Functional
    3943: ./Cancer
    4375: ./Health - Disease 

sort -Vadalah jenis alami. ... Jadi, jumlah maksimum file saya di salah satu direktori (Claws Mail) itu adalah 4.375 file. Jika saya meninggalkan-pad ( https://stackoverflow.com/a/55409116/1904943 ) nama-nama file - mereka semua dinamai secara numerik, dimulai dengan 1, di setiap direktori - dan pad hingga 5 digit total, saya harus baik-baik saja .

Tambahan

Temukan jumlah total file, subdirektori dalam direktori.

$ date; pwd
Tue 14 May 2019 04:08:31 PM PDT
/home/victoria/Mail/2_RESEARCH - NEWS

$ ls | head; echo; ls | tail
Acoustics
Ageing
Ageing - Calorie (Dietary) Restriction
Ageing - Senescence
Agriculture, Aquaculture, Fisheries
Ancient DNA; Ancient Protein
Anthropology, Archaeology
Ants
Archaeology
ARO-Relevant Literature, News

Transcriptome - CAGE
Transcriptome - FISSEQ
Transcriptome - RNA-seq
Translational Science, Medicine
Transposons
USACEHR-Relevant Literature
Vaccines
Vision, Eyes, Sight
Wasps
Women in Science, Medicine

$ find . -type f | wc -l
70214    ## files

$ find . -type d | wc -l
417      ## subdirectories

Saya telah menulis ffcnt untuk mempercepat penghitungan file rekursif dalam keadaan tertentu: disk rotasi dan sistem file yang mendukung pemetaan luas.

Ini bisa menjadi urutan besarnya lebih cepat dari lsatau findberdasarkan pendekatan, tetapi YMMV.

Ada banyak jawaban yang benar di sini. Ini yang lain!

find . -type f | sort | uniq -w 10 -c

di mana .folder untuk melihat dan 10adalah jumlah karakter yang digunakan untuk mengelompokkan direktori.

temukan -type f | wc -l

ATAU (Jika direktori adalah direktori saat ini)

Temukan . -type f | wc -l

Ini akan bekerja dengan baik. Sederhana pendek. Jika Anda ingin menghitung jumlah file yang ada dalam folder.

ls | wc -l

Pendekatan alternatif dengan pemfilteran untuk format ini menghitung semua modul kernel grub yang tersedia:

ls -l /boot/grub/*.mod | wc -l

ls -l | grep -e -x -e -dr | wc -l 

1. Daftar panjang
2. filter file dan dir
3. hitung garis yang difilter no