awk dan potong pada file yang sangat besar

0

Saya harus mengekstrak kolom data dari file yang sangat besar> 100GB.

Saya tahu cara menggunakan awkdan cutperintah melakukannya, tetapi ingin tahu apakah ada yang lebih efisien (dari perspektif kecepatan) untuk tugas seperti itu.

awk  textfiles  cut 
— Bryan
sumber
Grep harus menjadi cara tercepat untuk mencari string dalam file: grep -o "\w*pattern\w*" /path/to/file. Anda mungkin ingin membaca juga tentang parallelmenggunakan beberapa greppada potongan file itu.
— Alex
Jika cutdapat digunakan, itu harus lebih cepat, karena jauh lebih sederhana, dan dengan demikian kurang mampu.
— Michael Vehrs
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.