Menghitung ukuran file total dengan ekstensi di shell

Kami memiliki satu set direktori yang berisi indeks lucene. Setiap indeks adalah campuran dari berbagai jenis file (dibedakan berdasarkan ekstensi) misalnya:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(sekitar 10 ekstensi berbeda)

Kami ingin mendapatkan total berdasarkan ekstensi file, misalnya:

.frq     21234
.fnm     34757
..

Saya sudah mencoba berbagai kombinasi du / awk / xargs tetapi merasa sulit untuk melakukan hal ini.

Untuk ekstensi apa pun yang Anda gunakan

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

untuk mendapatkan ukuran file total untuk jenis itu.

Dan setelah berpikir

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Yang akan menampilkan ukuran dalam byte dari setiap jenis file yang ditemukan.

Dengan bash version4, Anda hanya perlu menelepon find, lsdan awktidak perlu:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Setiap kolom kedua dipisahkan oleh .dan bagian terakhir (ekstensi) disimpan dalam array.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

maka Anda mendapatkan setiap ukuran total ekstensi dalam byte.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Memperluas skrip Iain dengan versi yang lebih cepat untuk bekerja dengan sejumlah besar file.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Ini solusinya:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Solusi yang diposting awalnya di posting ini: Dapatkan semua ekstensi dan jumlah file masing-masing dalam direktori

Saya memecahkan menggunakan dua perintah ini:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

versi jawaban saya untuk pertanyaan:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Coba Kepiting ( http://etia.co.uk/ ) - ini adalah utilitas baris perintah yang memungkinkan Anda untuk menanyakan sistem file menggunakan SQL.