Butuh sesuatu yang lebih cepat daripada "wc -l"

Untuk file yang sangat besar seperti 1GB wc -lterjadi lambat. Apakah kita memiliki cara yang lebih cepat menghitung jumlah baris baru untuk file tertentu?

Anda dapat mencoba menulis dalam C:

#include <unistd.h>
#include <stdio.h>
#include <string.h>
int main(){
  char buf[BUFSIZ];
  int nread;
  size_t nfound=0;
  while((nread=read(0, buf, BUFSIZ))>0){
    char const* p;
    for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}
  }
  if(nread<0) { perror("Error"); return 1; }
  printf("%lu\n", nfound);
  return 0;
}

Simpan dalam mis. wcl.c, Kompilasi mis. Dengan gcc wcl.c -O2 -o wcldan jalankan dengan

<yourFile ./wcl

Ini menemukan baris baru ditaburi dalam file 1GB di sistem saya di sekitar 370ms (berjalan berulang). (Meningkatkan ukuran buffer sedikit meningkatkan waktu, yang diharapkan - BUFSIZ harus mendekati optimal). Ini sangat sebanding dengan ~ 380ms yang saya dapatkan wc -l.

Mmaping memberi saya waktu yang lebih baik sekitar 280ms , tetapi tentu saja memiliki keterbatasan untuk dibatasi pada file nyata (tidak ada FIFOS, tidak ada input terminal, dll.):

#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
int main(){
  struct stat sbuf;
  if(fstat(0, &sbuf)<0){ perror("Can't stat stdin"); return 1; }

  char* buf = mmap(NULL, sbuf.st_size, PROT_READ, MAP_PRIVATE, 0/*stdin*/, 0/*offset*/);
  if(buf == MAP_FAILED){ perror("Mmap error"); return 1; } 

  size_t nread = sbuf.st_size, nfound=0;
  char const* p;
  for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}

  printf("%lu\n", nfound);
  return 0;
}

Saya membuat file pengujian dengan:

 $ dd if=/dev/zero of=file bs=1M count=1042 

dan menambahkan beberapa baris baru uji dengan:

 $ echo >> 1GB 

dan hex editor.

Anda dapat meningkatkan solusi yang disarankan oleh @pskocik dengan mengurangi jumlah panggilan read. Ada banyak panggilan untuk membaca BUFSIZpotongan dari file 1Gb. Pendekatan yang biasa dilakukan adalah dengan meningkatkan ukuran buffer:

• hanya untuk bersenang-senang, cobalah meningkatkan ukuran buffer dengan faktor 10. Atau 100. Pada Debian 7 saya, BUFSIZadalah 8192. Dengan program asli, itu 120 ribu operasi baca. Anda mungkin dapat membeli buffer input 1Mb untuk menguranginya dengan faktor 100.
• untuk pendekatan yang lebih optimal, aplikasi dapat mengalokasikan buffer sebesar file, membutuhkan operasi baca tunggal. Itu bekerja cukup baik untuk file "kecil" (meskipun beberapa pembaca memiliki lebih dari 1Gb pada mesin mereka).
• akhirnya, Anda bisa bereksperimen dengan I / O yang dipetakan dengan memori, yang menangani alokasi seperti itu.

Saat membandingkan berbagai pendekatan, Anda mungkin perlu diingat bahwa beberapa sistem (seperti Linux) menggunakan sebagian besar memori mesin Anda yang tidak digunakan sebagai cache disk. Beberapa waktu yang lalu (hampir 20 tahun yang lalu, disebutkan dalam FAQ keji ), saya bingung dengan hasil yang tidak terduga baik dari algoritma paging (tidak terlalu baik) yang telah saya kembangkan untuk menangani kondisi memori rendah dalam editor teks. Dijelaskan kepada saya bahwa itu berjalan cepat karena program ini bekerja dari buffer memori yang digunakan untuk membaca file, dan bahwa hanya jika file tersebut dibaca ulang atau ditulis akan ada perbedaan dalam kecepatan.

Hal yang sama berlaku untuk mmap(dalam kasus lain masih dalam daftar tugas saya untuk dimasukkan ke dalam FAQ, pengembang melaporkan hasil yang sangat baik dalam skenario di mana cache disk adalah alasan sebenarnya untuk perbaikan). Mengembangkan tolok ukur membutuhkan waktu dan perhatian untuk menganalisis alasan kinerja yang baik (atau buruk).

Bacaan lebih lanjut:

• Apakah menggunakan buffer yang lebih besar bermanfaat?
• mmap () vs. blok bacaan
• mmap, munmap - memetakan atau menghapus peta file atau perangkat ke dalam memori (menunjukkan program sampel)
• 13.7 Memori-dipetakan I / O (Perpustakaan GNU C)
• Cara membersihkan cache I / O disk di Linux
• Bagaimana Anda mengosongkan buffer dan cache pada sistem Linux?