Menggunakan 'head' atau 'tail' pada file teks BESAR - 19 GB

Saya memiliki masalah dengan melihat potongan file teks yang sangat besar. File ini, sekitar 19 GB, jelas terlalu besar untuk dilihat dengan cara tradisional apa pun.

Saya telah mencoba head 1dan tail 1( head -n 1dan tail -n 1) dengan kedua perintah disalurkan bersama dalam berbagai cara (untuk mendapatkan bagian di tengah) tanpa hasil. Mesin Linux saya yang menjalankan Ubuntu 9.10 tidak dapat memproses file ini.

Bagaimana cara saya menangani file ini? Tujuan utama saya adalah mengasah jalur 45000000 dan 45000100.

Anda harus menggunakan sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Ini memberitahu Anda seduntuk mencetak baris 45000000-45000100 inklusif, dan untuk berhenti pada jalur 45000101.

Buat database MySQL dengan tabel tunggal yang memiliki bidang tunggal. Kemudian impor file Anda ke dalam basis data. Ini akan membuatnya sangat mudah untuk mencari garis tertentu.

Saya tidak berpikir hal lain bisa lebih cepat (jika headdan tailsudah gagal). Pada akhirnya, aplikasi yang ingin mencari baris nharus mencari melalui seluruh file hingga ditemukan nbaris baru. Tanpa semacam pencarian (indeks-baris ke byte diimbangi ke dalam file) tidak ada kinerja yang lebih baik dapat dicapai.

Mengingat betapa mudahnya membuat database MySQL dan mengimpor data ke dalamnya, saya merasa ini adalah pendekatan yang layak.

Inilah cara melakukannya:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file akan menjadi file yang ingin Anda baca.

Sintaks yang benar untuk mengimpor file dengan nilai batas-tab pada setiap baris, adalah:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Keuntungan utama lainnya adalah, jika nanti Anda memutuskan untuk mengekstrak rangkaian baris lain, Anda tidak perlu menunggu berjam-jam untuk pemrosesan lagi (kecuali jika Anda menghapus database tentu saja).

Dua alat tua yang bagus untuk file besar adalah joindan split. Anda dapat menggunakan --lines=<number>opsi split with yang memotong file ke beberapa file dengan ukuran tertentu.

Sebagai contoh split --lines=45000000 huge_file.txt. Bagian yang dihasilkan akan berada di xa, xb, dll. Kemudian Anda dapat headbagian xb yang akan mencakup baris yang Anda inginkan. Anda juga dapat 'bergabung' file kembali ke file besar tunggal.

Anda memiliki alat yang tepat tetapi tidak menggunakannya dengan benar. Seperti yang sebelumnya dijawab di U&L, tail -n +X file | head -n Y(perhatikan +) adalah 10-15% lebih cepat daripada seduntuk garis Y mulai dari X. Dan mudahnya, Anda tidak perlu secara eksplisit exitprosesnya seperti sed.

tail akan membaca dan membuang garis X-1 pertama (tidak ada jalan lain untuk itu), kemudian membaca dan mencetak baris berikut. head akan membaca dan mencetak jumlah baris yang diminta, kemudian keluar. Ketika head keluar, tail menerima sinyal SIGPIPE dan mati, sehingga tidak akan membaca lebih dari nilai ukuran buffer (biasanya beberapa kilobyte) garis dari file input.