Bagaimana saya bisa dengan cepat menjumlahkan semua angka dalam file?

Saya memiliki file yang berisi beberapa ribu angka, masing-masing pada barisnya sendiri:

34
42
11
6
2
99
...

Saya ingin menulis skrip yang akan mencetak jumlah semua angka dalam file. Saya punya solusi, tetapi tidak terlalu efisien. (Butuh beberapa menit untuk menjalankannya.) Saya mencari solusi yang lebih efisien. Ada saran?

Untuk Perl one-liner, pada dasarnya hal yang sama dengan awksolusi dalam jawaban Ayman Hourieh :

 % perl -nle '$sum += $_ } END { print $sum'

Jika Anda penasaran dengan apa yang dilakukan Perl one-liners, Anda dapat menjelaskannya:

 %  perl -MO=Deparse -nle '$sum += $_ } END { print $sum'

Hasilnya adalah versi yang lebih verbose dari program ini, dalam bentuk yang tidak seorang pun akan menulis sendiri:

BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
    chomp $_;
    $sum += $_;
}
sub END {
    print $sum;
}
-e syntax OK

Hanya untuk cekikikan, saya mencoba ini dengan file yang berisi 1.000.000 angka (dalam kisaran 0 - 9.999). Di Mac Pro saya, ia mengembalikan hampir secara instan. Itu terlalu buruk, karena saya berharap menggunakan mmapakan sangat cepat, tetapi pada saat yang sama:

use 5.010;
use File::Map qw(map_file);

map_file my $map, $ARGV[0];

$sum += $1 while $map =~ m/(\d+)/g;

say $sum;

Anda dapat menggunakan awk:

awk '{ sum += $1 } END { print sum }' file

Sejauh ini tidak ada solusi yang digunakan paste. Ini dia:

paste -sd+ filename | bc

Sebagai contoh, hitung Σn di mana 1 <= n <= 100000:

$ seq 100000 | paste -sd+ | bc -l
5000050000

(Bagi yang penasaran, seq nakan mencetak urutan angka dari 1ke ndiberikan angka positif n.)

Hanya untuk bersenang-senang, mari patok:

$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392

real    0m0.226s
user    0m0.219s
sys     0m0.002s

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392

real    0m0.311s
user    0m0.304s
sys     0m0.005s

$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392

real    0m0.445s
user    0m0.438s
sys     0m0.024s

$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392

real    0m9.309s
user    0m8.404s
sys     0m0.887s

$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392

real    0m7.191s
user    0m6.402s
sys     0m0.776s

$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C

real    4m53.413s
user    4m52.584s
sys 0m0.052s

Saya membatalkan menjalankan sed setelah 5 menit

Saya sudah menyelam ke lua, dan cepat:

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
16388542582.0

real    0m0.362s
user    0m0.313s
sys     0m0.063s

dan sementara saya memperbarui ini, ruby:

$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
16388542582

real    0m0.378s
user    0m0.297s
sys     0m0.078s

Saran Heed Ed Morton: menggunakan $1

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16388542582

real    0m0.421s
user    0m0.359s
sys     0m0.063s

vs menggunakan $0

$ time awk '{ sum += $0 } END { print sum }' random_numbers
16388542582

real    0m0.302s
user    0m0.234s
sys     0m0.063s

Pilihan lain adalah menggunakan jq:

$ seq 10|jq -s add
55

-s( --slurp) membaca baris input ke dalam array.

Ini Bash langsung:

sum=0
while read -r line
do
    (( sum += line ))
done < file
echo $sum

Ini satu kalimat lagi

( echo 0 ; sed 's/$/ +/' foo ; echo p ) | dc

Ini mengasumsikan angkanya bilangan bulat. Jika Anda membutuhkan desimal, cobalah

( echo 0 2k ; sed 's/$/ +/' foo ; echo p ) | dc

Sesuaikan 2 dengan jumlah desimal yang dibutuhkan.

Saya lebih suka menggunakan GNU datamash untuk tugas-tugas seperti itu karena lebih ringkas dan dapat dibaca daripada perl atau awk. Sebagai contoh

datamash sum 1 < myfile

di mana 1 menunjukkan kolom data pertama.

$ perl -MList::Util=sum -le 'print sum <>' nums.txt

Saya lebih suka menggunakan R untuk ini:

$ R -e 'sum(scan("filename"))'

cat nums | perl -ne '$sum += $_ } { print $sum'

(sama dengan jawaban brian d foy, tanpa 'END')

Lebih ringkas:

# Ruby
ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'

# Python
python -c 'print(sum(int(l) for l in open("random_numbers")))'

Perl 6

say sum lines

~$ perl6 -e '.say for 0..1000000' > test.in

~$ perl6 -e 'say sum lines' < test.in
500000500000

Hanya untuk bersenang-senang, mari kita lakukan dengan PDL , mesin matematika array Perl!

perl -MPDL -E 'say rcols(shift)->sum' datafile

rcolsmembaca kolom menjadi matriks (1D dalam kasus ini) dan sum(kejutan) menjumlahkan semua elemen matriks.

Berikut adalah solusi menggunakan python dengan ekspresi generator. Diuji dengan sejuta angka pada laptop saya yang kasar.

time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file

real    0m0.619s
user    0m0.512s
sys     0m0.028s

Saya tidak bisa hanya lewat ... Ini Haskell one-liner saya. Ini sebenarnya cukup mudah dibaca:

sum <$> (read <$>) <$> lines <$> getContents

Sayangnya tidak ada ghci -euntuk hanya menjalankannya, sehingga perlu fungsi utama, cetak dan kompilasi.

main = (sum <$> (read <$>) <$> lines <$> getContents) >>= print

Untuk memperjelas, kami membaca seluruh input ( getContents), membaginya dengan lines, readsebagai angka dan sum. <$>adalah fmapoperator - kami menggunakannya bukan aplikasi fungsi biasa karena yakin ini semua terjadi di IO. readperlu tambahan fmap, karena juga ada dalam daftar.

$ ghc sum.hs
[1 of 1] Compiling Main             ( sum.hs, sum.o )
Linking sum ...
$ ./sum 
1
2
4
^D
7

Berikut ini adalah upgrade yang aneh untuk membuatnya bekerja dengan float:

main = ((0.0 + ) <$> sum <$> (read <$>) <$> lines <$> getContents) >>= print

$ ./sum 
1.3
2.1
4.2
^D
7.6000000000000005

sed ':a;N;s/\n/+/;ta' file|bc

Menjalankan skrip R

Saya telah menulis skrip R untuk mengambil argumen nama file dan menjumlahkan baris.

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(as.numeric(readLines(file)))

Ini dapat dipercepat dengan paket "data.table" atau "vroom" sebagai berikut:

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(data.table::fread(file))

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(vroom::vroom(file))

Benchmarking

Data pembandingan yang sama dengan @glenn jackman .

for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

Dibandingkan dengan panggilan R di atas, menjalankan R 3.5.0 sebagai skrip dapat dibandingkan dengan metode lain (pada server Linux Debian yang sama).

$ time R -e 'sum(scan("random_numbers"))'  
 0.37s user
 0.04s system
 86% cpu
 0.478 total

R script dengan readLines

$ time Rscript sum.R random_numbers
  0.53s user
  0.04s system
  84% cpu
  0.679 total

R script dengan data.table

$ time Rscript sum.R random_numbers     
 0.30s user
 0.05s system
 77% cpu
 0.453 total

R script dengan vroom

$ time Rscript sum.R random_numbers     
  0.54s user 
  0.11s system
  93% cpu
  0.696 total

Perbandingan dengan bahasa lain

Untuk referensi di sini karena beberapa metode lain disarankan pada perangkat keras yang sama

Python 2 (2.7.13)

$ time python2 -c "import sys; print sum((float(l) for l in sys.stdin))" < random_numbers 
 0.27s user 0.00s system 89% cpu 0.298 total

Python 3 (3.6.8)

$ time python3 -c "import sys; print(sum((float(l) for l in sys.stdin)))" < random_number
0.37s user 0.02s system 98% cpu 0.393 total

Ruby (2.3.3)

$  time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
 0.42s user
 0.03s system
 72% cpu
 0.625 total

Perl (5.24.1)

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
 0.24s user
 0.01s system
 99% cpu
 0.249 total

Awk (4.1.4)

$ time awk '{ sum += $0 } END { print sum }' random_numbers
 0.26s user
 0.01s system
 99% cpu
 0.265 total
$ time awk '{ sum += $1 } END { print sum }' random_numbers
 0.34s user
 0.01s system
 99% cpu
 0.354 total

C (dentang versi 3.3; gcc (Debian 6.3.0-18) 6.3.0)

 $ gcc sum.c -o sum && time ./sum < random_numbers   
 0.10s user
 0.00s system
 96% cpu
 0.108 total

Perbarui dengan bahasa tambahan

Lua (5.3.5)

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers 
 0.30s user 
 0.01s system
 98% cpu
 0.312 total

tr (8.26) harus diberi batas waktu dalam bash, tidak kompatibel dengan zsh

$time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
real    0m0.494s
user    0m0.488s
sys 0m0.044s

sed (4.4) harus diberi batas waktu dalam bash, tidak kompatibel dengan zsh

$  time { head -n 10000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    0m0.631s
user    0m0.628s
sys     0m0.008s
$  time { head -n 100000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    1m2.593s
user    1m2.588s
sys     0m0.012s

catatan: panggilan sed tampaknya bekerja lebih cepat pada sistem dengan lebih banyak memori yang tersedia (perhatikan kumpulan data yang lebih kecil digunakan untuk benchmarking sed)

Julia (0.5.0)

$ time julia -e 'print(sum(readdlm("random_numbers")))'
 3.00s user 
 1.39s system 
 136% cpu 
 3.204 total
$  time julia -e 'print(sum(readtable("random_numbers")))'
 0.63s user 
 0.96s system 
 248% cpu 
 0.638 total

Perhatikan bahwa seperti dalam R, metode file I / O memiliki kinerja yang berbeda.

C ++ "satu garis":

#include <iostream>
#include <iterator>
#include <numeric>
using namespace std;

int main() {
    cout << accumulate(istream_iterator<int>(cin), istream_iterator<int>(), 0) << endl;
}

Lain untuk bersenang-senang

sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum

atau bash lain saja

s=0;while read l; do s=$((s+$l));done<file;echo $s

Tetapi solusi awk mungkin yang terbaik karena paling kompak.

C selalu menang untuk kecepatan:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char **argv) {
    ssize_t read;
    char *line = NULL;
    size_t len = 0;
    double sum = 0.0;

    while (read = getline(&line, &len, stdin) != -1) {
        sum += atof(line);
    }

    printf("%f", sum);
    return 0;
}

Waktu untuk angka 1M (mesin / input yang sama dengan jawaban python saya):

$ gcc sum.c -o sum && time ./sum < numbers 
5003371677.000000
real    0m0.188s
user    0m0.180s
sys     0m0.000s

Dengan Ruby:

ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"

Saya tidak tahu apakah Anda bisa mendapatkan jauh lebih baik dari ini, mengingat Anda perlu membaca seluruh file.

$sum = 0;
while(<>){
   $sum += $_;
}
print $sum;

Saya belum menguji ini tetapi seharusnya berhasil:

cat f | tr "\n" "+" | sed 's/+$/\n/' | bc

Anda mungkin harus menambahkan "\ n" ke string sebelum bc (seperti via echo) jika bc tidak memperlakukan EOF dan EOL ...

Ini yang lain:

open(FIL, "a.txt");

my $sum = 0;
foreach( <FIL> ) {chomp; $sum += $_;}

close(FIL);

print "Sum = $sum\n";

Anda dapat melakukannya dengan Alacon - utilitas baris perintah untuk basis data Alasql .

Ini bekerja dengan Node.js, jadi Anda perlu menginstal Node.js dan kemudian paket Alasql :

Untuk menghitung jumlah dari file TXT Anda dapat menggunakan perintah berikut:

> node alacon "SELECT VALUE SUM([0]) FROM TXT('mydata.txt')"

Hal ini tidak mudah untuk mengganti semua lini baru +, menambah 0dan mengirimkannya ke Rubyjuru?

(sed -e "s/$/+/" file; echo 0)|irb

Jika tidak punya irb, Anda dapat mengirimnya ke bc, tetapi Anda harus menghapus semua baris baru kecuali yang terakhir echo. Lebih baik digunakan truntuk ini, kecuali jika Anda memiliki gelar PhD di sed.

(sed -e "s/$/+/" file|tr -d "\n"; echo 0)|bc

In Go:

package main

import (
    "bufio"
    "fmt"
    "os"
    "strconv"
)

func main() {
    scanner := bufio.NewScanner(os.Stdin)
    sum := int64(0)
    for scanner.Scan() {
        v, err := strconv.ParseInt(scanner.Text(), 10, 64)
        if err != nil {
            fmt.Fprintf(os.Stderr, "Not an integer: '%s'\n", scanner.Text())
            os.Exit(1)
        }
        sum += v
    }
    fmt.Println(sum)
}

Varian bash

raw=$(cat file)
echo $(( ${raw//$'\n'/+} ))

$ wc -l file
10000 file

$ time ./test
323390

real    0m3,096s
user    0m3,095s
sys     0m0,000s

Dalam shell menggunakan awk, saya telah menggunakan skrip di bawah ini untuk melakukannya:

    #!/bin/bash


total=0;

for i in $( awk '{ print $1; }' <myfile> )
do
 total=$(echo $total+$i | bc )
 ((count++))
done
echo "scale=2; $total " | bc