Python menyatukan file teks

Saya memiliki daftar 20 nama file, seperti ['file1.txt', 'file2.txt', ...]. Saya ingin menulis skrip Python untuk menggabungkan file-file ini menjadi file baru. Saya bisa membuka setiap file dengan f = open(...), membaca baris demi baris dengan menelepon f.readline(), dan menulis setiap baris ke file baru itu. Rasanya tidak "elegan" bagi saya, terutama bagian di mana saya harus membaca // menulis baris demi baris.

Apakah ada cara yang lebih "elegan" untuk melakukan ini dengan Python?

Ini harus dilakukan

Untuk file besar:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Untuk file kecil:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

… Dan satu lagi yang menarik yang saya pikirkan :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Sayangnya, metode terakhir ini menyisakan beberapa deskriptor file terbuka, yang harus dijaga oleh GC. Saya hanya berpikir itu menarik

Gunakan shutil.copyfileobj.

Secara otomatis membaca file input potongan demi sepotong untuk Anda, yang lebih efisien dan membaca file input dan akan bekerja bahkan jika beberapa file input terlalu besar untuk masuk ke dalam memori:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Itulah yang fileinput adalah untuk:

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Untuk kasus penggunaan ini, itu sebenarnya tidak jauh lebih sederhana daripada hanya iterasi file secara manual, tetapi dalam kasus lain, memiliki iterator tunggal yang melakukan iterasi pada semua file seolah-olah mereka adalah file tunggal sangat berguna. (Juga, fakta bahwa fileinputmenutup setiap file segera setelah selesai berarti tidak perlu withatau closemasing - masing, tapi itu hanya penghematan satu baris, bukan masalah besar.)

Ada beberapa fitur bagus lainnya fileinput, seperti kemampuan untuk melakukan modifikasi di tempat file hanya dengan memfilter setiap baris.

Seperti disebutkan dalam komentar, dan dibahas dalam posting lain , fileinputuntuk Python 2.7 tidak akan berfungsi seperti yang ditunjukkan. Berikut sedikit modifikasi untuk membuat kode Python 2.7 sesuai

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Saya tidak tahu tentang keanggunan, tetapi ini bekerja:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Apa yang salah dengan perintah UNIX? (mengingat Anda tidak bekerja di Windows):

ls | xargs cat | tee output.txt melakukan pekerjaan (Anda dapat memanggilnya dari python dengan subprocess jika Anda mau)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Tolok ukur sederhana menunjukkan bahwa shutil berkinerja lebih baik.

Alternatif jawaban @ inspectorG4dget (jawaban terbaik hingga tanggal 29-03-2016). Saya diuji dengan 3 file 436MB.

solusi @ inspectorG4dget: 162 detik

Solusi berikut: 125 detik

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Idenya adalah untuk membuat file batch dan menjalankannya, mengambil keuntungan dari "teknologi lama yang baik". Semi-python tetapi bekerja lebih cepat. Bekerja untuk windows.

Jika Anda memiliki banyak file di direktori maka glob2mungkin merupakan opsi yang lebih baik untuk menghasilkan daftar nama file daripada menulisnya dengan tangan.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Lihat metode .read () dari objek File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Anda dapat melakukan sesuatu seperti:

concat = ""
for file in files:
    concat += open(file).read()

atau cara python yang lebih 'elegan':

concat = ''.join([open(f).read() for f in files])

yang, menurut artikel ini: http://www.skymind.com/~ocrow/python_string/ juga akan menjadi yang tercepat.

Jika file tidak raksasa:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Jika file terlalu besar untuk sepenuhnya dibaca dan disimpan dalam RAM, algoritme harus sedikit berbeda untuk membaca setiap file yang akan disalin dalam satu lingkaran dengan potongan dengan panjang tetap, menggunakan read(10000)misalnya.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)