Saya ingin membaca beberapa file csv dari direktori menjadi panda dan menggabungkannya menjadi satu DataFrame besar. Saya belum bisa mengetahuinya. Inilah yang saya miliki sejauh ini:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Saya kira saya butuh bantuan dalam for for loop ???

Jika Anda memiliki kolom yang sama di semua csvfile Anda maka Anda dapat mencoba kode di bawah ini. Saya telah menambahkan header=0agar setelah membaca csvbaris pertama dapat ditetapkan sebagai nama kolom.

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

Alternatif jawaban darindaCoder :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

Pustaka Dask dapat membaca kerangka data dari banyak file:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Sumber: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Kerangka data Dask mengimplementasikan subset API kerangka data Pandas. Jika semua data masuk ke dalam memori, Anda dapat menelepondf.compute() untuk mengubah kerangka data menjadi kerangka data Pandas.

Hampir semua jawaban di sini tidak rumit (pencocokan pola glob) atau bergantung pada pustaka pihak ke-3 tambahan. Anda dapat melakukan ini dalam 2 baris menggunakan semua Pandas dan python (semua versi) sudah ada di dalamnya.

Untuk beberapa file - 1 liner:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

Untuk banyak file:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

Baris panda ini yang mengatur df menggunakan 3 hal:

1. Peta Python (function, iterable) mengirimkan ke function (the pd.read_csv()) the iterable (daftar kami) yang merupakan setiap elemen csv dalam filepaths.
2. Fungsi read_csv () Panda membaca di setiap file CSV seperti biasa.
3. Konser Panda () membawa semua ini di bawah satu variabel df.

Sunting: Saya googled dengan cara saya ke https://stackoverflow.com/a/21232849/186078 . Namun akhir-akhir ini saya menemukan lebih cepat untuk melakukan manipulasi menggunakan numpy dan kemudian menugaskannya sekali untuk dataframe daripada memanipulasi dataframe itu sendiri secara iteratif dan tampaknya bekerja dalam solusi ini juga.

Saya sungguh-sungguh ingin ada yang memukul halaman ini untuk mempertimbangkan pendekatan ini, tetapi tidak ingin melampirkan sepotong kode besar ini sebagai komentar dan membuatnya kurang mudah dibaca.

Anda dapat memanfaatkan numpy untuk benar-benar mempercepat rangkaian dataframe.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Statistik waktu:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Jika Anda ingin mencari secara rekursif ( Python 3.5 atau lebih tinggi ), Anda dapat melakukan hal berikut:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Perhatikan bahwa tiga baris terakhir dapat diekspresikan dalam satu baris tunggal :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Anda dapat menemukan dokumentasi di ** sini . Juga, saya menggunakan iglobsebagai gantinya glob, karena mengembalikan iterator bukan daftar.

EDIT: Fungsi rekursif multiplatform:

Anda dapat membungkus di atas ke dalam fungsi multi platform (Linux, Windows, Mac), sehingga Anda dapat melakukan:

df = read_df_rec('C:\user\your\path', *.csv)

Inilah fungsinya:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Mudah dan Cepat

Impor dua atau lebih csvtanpa harus membuat daftar nama.

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

satu liner menggunakan map, tetapi jika Anda ingin menentukan argumen tambahan, Anda bisa melakukan:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

Catatan: mapdengan sendirinya tidak memungkinkan Anda memberikan argumen tambahan.

Jika beberapa file csv di-zip, Anda dapat menggunakan zipfile untuk membaca semua dan menggabungkannya seperti di bawah ini:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

On-liner lain dengan pemahaman daftar yang memungkinkan untuk menggunakan argumen dengan read_csv.

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

Berdasarkan jawaban yang baik dari @ Sid.

Sebelum digabungkan, Anda dapat memuat file csv ke kamus perantara yang memberikan akses ke setiap kumpulan data berdasarkan nama file (dalam formulir dict_of_df['filename.csv']). Kamus seperti itu dapat membantu Anda mengidentifikasi masalah dengan format data yang heterogen, ketika nama kolom tidak selaras misalnya.

Impor modul dan temukan jalur file:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

Catatan: OrderedDicttidak perlu, tetapi itu akan menjaga urutan file yang mungkin berguna untuk analisis.

Muat file csv ke dalam kamus. Kemudian gabungkan:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

Kunci adalah nama file fdan nilai adalah konten bingkai data dari file csv. Alih-alih menggunakan fsebagai kunci kamus, Anda juga dapat menggunakan metode os.pathos.path.basename(f) atau lainnya untuk mengurangi ukuran kunci dalam kamus menjadi hanya bagian yang lebih kecil yang relevan.

Alternatif menggunakan pathlibperpustakaan (sering lebih disukai os.path).

Metode ini menghindari penggunaan berulang panda concat()/ apped().

Dari dokumentasi panda:
Perlu dicatat bahwa concat () (dan karenanya append ()) membuat salinan lengkap dari data, dan bahwa terus-menerus menggunakan kembali fungsi ini dapat membuat kinerja yang signifikan. Jika Anda perlu menggunakan operasi pada beberapa dataset, gunakan pemahaman daftar.

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

Inilah yang dapat Anda lakukan dengan menggunakan Colab di Google Drive

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)