Bagaimana saya bisa membaca file teks besar dengan Python, baris demi baris, tanpa memuatnya ke dalam memori?

Saya perlu membaca file besar, baris demi baris. Katakanlah file tersebut memiliki lebih dari 5GB dan saya perlu membaca setiap baris, tetapi jelas saya tidak ingin menggunakannya readlines()karena akan membuat daftar yang sangat besar dalam memori.

Bagaimana kode di bawah ini berfungsi untuk kasus ini? Apakah dengan xreadlinessendirinya membaca satu per satu ke dalam memori? Apakah ekspresi generator diperlukan?

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

Plus, apa yang bisa saya lakukan untuk membaca ini dalam urutan terbalik, seperti tailperintah Linux ?

Saya menemukan:

http://code.google.com/p/pytailer/

dan

" kepala python, ekor dan terbelakang dibaca oleh baris file teks "

Keduanya bekerja dengan sangat baik!

Saya memberikan jawaban ini karena Keith's, meskipun ringkas, tidak menutup file secara eksplisit

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

Yang perlu Anda lakukan adalah menggunakan objek file sebagai iterator.

for line in open("log.txt"):
    do_something_with(line)

Lebih baik lagi menggunakan manajer konteks dalam versi Python terbaru.

with open("log.txt") as fileobject:
    for line in fileobject:
        do_something_with(line)

Ini juga akan secara otomatis menutup file.

Pendekatan sekolah lama:

fh = open(file_name, 'rt')
line = fh.readline()
while line:
    # do stuff with line
    line = fh.readline()
fh.close()

Anda lebih baik menggunakan iterator saja. Relevan: http://docs.python.org/library/fileinput.html

Dari dokumen:

import fileinput
for line in fileinput.input("filename"):
    process(line)

Ini akan menghindari menyalin seluruh file ke memori sekaligus.

Inilah yang Anda lakukan jika Anda tidak memiliki baris baru dalam file:

with open('large_text.txt') as f:
  while True:
    c = f.read(1024)
    if not c:
      break
    print(c)

Silakan coba ini:

with open('filename','r',buffering=100000) as f:
    for line in f:
        print line

Aku tidak percaya itu bisa semudah jawaban @ john-la-rooy membuatnya tampak. Jadi, saya membuat ulang cpperintah menggunakan baris demi baris membaca dan menulis. CEPAT GILA.

#!/usr/bin/env python3.6

import sys

with open(sys.argv[2], 'w') as outfile:
    with open(sys.argv[1]) as infile:
        for line in infile:
            outfile.write(line)

Proyek kebakaran telah berlangsung jauh selama 6 tahun terakhir. Ini memiliki API sederhana yang mencakup subset fitur panda yang berguna.

dask.dataframe menangani chunking secara internal, mendukung banyak operasi yang paralel dan memungkinkan Anda untuk mengekspor irisan kembali ke panda dengan mudah untuk operasi dalam memori.

import dask.dataframe as dd

df = dd.read_csv('filename.csv')
df.head(10)  # return first 10 rows
df.tail(10)  # return last 10 rows

# iterate rows
for idx, row in df.iterrows():
    ...

# group by my_field and return mean
df.groupby(df.my_field).value.mean().compute()

# slice by column
df[df.my_field=='XYZ'].compute()

Inilah kode untuk memuat file teks dari berbagai ukuran tanpa menyebabkan masalah memori. Ini mendukung file berukuran gigabytes

https://gist.github.com/iyvinjose/e6c1cb2821abd5f01fd1b9065cbc759d

unduh file data_loading_utils.py dan impor ke dalam kode Anda

pemakaian

import data_loading_utils.py.py
file_name = 'file_name.ext'
CHUNK_SIZE = 1000000


def process_lines(data, eof, file_name):

    # check if end of file reached
    if not eof:
         # process data, data is one single line of the file

    else:
         # end of file reached

data_loading_utils.read_lines_from_file_as_data_chunks(file_name, chunk_size=CHUNK_SIZE, callback=self.process_lines)

Metode process_lines adalah fungsi callback. Itu akan dipanggil untuk semua baris, dengan data parameter mewakili satu baris file pada satu waktu.

Anda dapat mengonfigurasi variabel CHUNK_SIZE tergantung pada konfigurasi perangkat keras mesin Anda.

Bagaimana dengan ini? Bagilah file Anda menjadi potongan-potongan dan kemudian membacanya baris demi baris, karena ketika Anda membaca file, sistem operasi Anda akan men-cache baris berikutnya. Jika Anda membaca file baris demi baris, Anda tidak menggunakan informasi yang di-cache secara efisien.

Alih-alih, bagi file menjadi potongan-potongan dan muat seluruh potongan ke dalam memori dan kemudian lakukan pemrosesan Anda.

def chunks(file,size=1024):
    while 1:

        startat=fh.tell()
        print startat #file's object current position from the start
        fh.seek(size,1) #offset from current postion -->1
        data=fh.readline()
        yield startat,fh.tell()-startat #doesnt store whole list in memory
        if not data:
            break
if os.path.isfile(fname):
    try:
        fh=open(fname,'rb') 
    except IOError as e: #file --> permission denied
        print "I/O error({0}): {1}".format(e.errno, e.strerror)
    except Exception as e1: #handle other exceptions such as attribute errors
        print "Unexpected error: {0}".format(e1)
    for ele in chunks(fh):
        fh.seek(ele[0])#startat
        data=fh.read(ele[1])#endat
        print data

Terima kasih! Saya baru-baru ini dikonversi ke python 3 dan telah frustrasi dengan menggunakan readlines (0) untuk membaca file besar. Ini memecahkan masalah. Tetapi untuk mendapatkan setiap baris, saya harus melakukan beberapa langkah ekstra. Setiap baris didahului oleh "b '" yang saya kira itu dalam format biner. Menggunakan "decode (utf-8)" mengubahnya ascii.

Lalu saya harus menghapus "= \ n" di tengah setiap baris.

Lalu saya membagi garis di baris baru.

b_data=(fh.read(ele[1]))#endat This is one chunk of ascii data in binary format
        a_data=((binascii.b2a_qp(b_data)).decode('utf-8')) #Data chunk in 'split' ascii format
        data_chunk = (a_data.replace('=\n','').strip()) #Splitting characters removed
        data_list = data_chunk.split('\n')  #List containing lines in chunk
        #print(data_list,'\n')
        #time.sleep(1)
        for j in range(len(data_list)): #iterate through data_list to get each item 
            i += 1
            line_of_data = data_list[j]
            print(line_of_data)

Berikut adalah kode yang dimulai tepat di atas "data cetak" dalam kode Arohi.

Saya mendemonstrasikan pendekatan akses acak level byte paralel di sini dalam pertanyaan lain ini:

Mendapatkan jumlah baris dalam file teks tanpa garis baca

Beberapa jawaban yang sudah disediakan bagus dan ringkas. Saya suka beberapa dari mereka. Tapi itu sangat tergantung apa yang ingin Anda lakukan dengan data yang ada di file. Dalam kasus saya, saya hanya ingin menghitung baris, secepat mungkin pada file teks besar. Kode saya dapat dimodifikasi untuk melakukan hal-hal lain juga, seperti kode apa pun.

Solusi terbaik yang saya temukan mengenai ini, dan saya mencobanya pada file 330 MB.

lineno = 500
line_length = 8
with open('catfour.txt', 'r') as file:
    file.seek(lineno * (line_length + 2))
    print(file.readline(), end='')

Di mana line_length adalah jumlah karakter dalam satu baris. Misalnya "abcd" memiliki panjang garis 4.

Saya telah menambahkan 2 dalam panjang garis untuk melewati karakter '\ n' dan pindah ke karakter berikutnya.

Ini mungkin berguna ketika Anda ingin bekerja secara paralel dan hanya membaca potongan data tetapi tetap bersih dengan baris baru.

def readInChunks(fileObj, chunkSize=1024):
    while True:
        data = fileObj.read(chunkSize)
        if not data:
            break
        while data[-1:] != '\n':
            data+=fileObj.read(1)
        yield data

f=open('filename','r').read()
f1=f.split('\n')
for i in range (len(f1)):
    do_something_with(f1[i])

semoga ini membantu.