Bagaimana cara mengabaikan baris pertama data saat memproses data CSV?

Saya meminta Python untuk mencetak angka minimum dari kolom data CSV, tetapi baris teratas adalah nomor kolom, dan saya tidak ingin Python memperhitungkan baris atas. Bagaimana saya bisa memastikan Python mengabaikan baris pertama?

Ini kodenya sejauh ini:

import csv

with open('all16.csv', 'rb') as inf:
    incsv = csv.reader(inf)
    column = 1                
    datatype = float          
    data = (datatype(column) for row in incsv)   
    least_value = min(data)

print least_value

Bisakah Anda juga menjelaskan apa yang Anda lakukan, tidak hanya memberikan kodenya? Saya sangat baru mengenal Python dan ingin memastikan bahwa saya memahami segalanya.

Anda dapat menggunakan instance kelas csvmodul Snifferuntuk menyimpulkan format file CSV dan mendeteksi apakah baris header ada bersama dengan next()fungsi bawaan untuk melewati baris pertama hanya jika diperlukan:

import csv

with open('all16.csv', 'r', newline='') as file:
    has_header = csv.Sniffer().has_header(file.read(1024))
    file.seek(0)  # Rewind.
    reader = csv.reader(file)
    if has_header:
        next(reader)  # Skip header row.
    column = 1
    datatype = float
    data = (datatype(row[column]) for row in reader)
    least_value = min(data)

print(least_value)

Karena datatypedan di column-hardcode dalam contoh Anda, akan sedikit lebih cepat untuk memproses rowseperti ini:

    data = (float(row[1]) for row in reader)

Catatan: kode di atas adalah untuk Python 3.x. Untuk Python 2.x gunakan baris berikut untuk membuka file alih-alih yang ditampilkan:

with open('all16.csv', 'rb') as file:

Untuk melewati baris pertama, panggil saja:

next(inf)

File dengan Python adalah iterator di atas baris.

Dalam kasus penggunaan serupa saya harus melewati baris yang mengganggu sebelum baris dengan nama kolom saya yang sebenarnya. Solusi ini bekerja dengan baik. Baca file terlebih dahulu, lalu teruskan daftarnya ke csv.DictReader.

with open('all16.csv') as tmp:
    # Skip first line (if any)
    next(tmp, None)

    # {line_num: row}
    data = dict(enumerate(csv.DictReader(tmp)))

Dipinjam dari buku masak python ,
Kode templat yang lebih ringkas mungkin terlihat seperti ini:

import csv
with open('stocks.csv') as f:
    f_csv = csv.reader(f) 
    headers = next(f_csv) 
    for row in f_csv:
        # Process row ...

Anda biasanya akan menggunakan next(incsv)yang memajukan iterator satu baris, jadi Anda melewati tajuk. Yang lainnya (katakanlah Anda ingin melewati 30 baris) adalah:

from itertools import islice
for row in islice(incsv, 30, None):
    # process

gunakan csv.DictReader, bukan csv.Reader. Jika parameter nama bidang dihilangkan, nilai di baris pertama file csv akan digunakan sebagai nama bidang. Anda kemudian dapat mengakses nilai bidang menggunakan baris ["1"] dll

Paket 'panda' baru mungkin lebih relevan daripada 'csv'. Kode di bawah ini akan membaca file CSV, secara default mengartikan baris pertama sebagai tajuk kolom dan menemukan nilai minimum di seluruh kolom.

import pandas as pd

data = pd.read_csv('all16.csv')
data.min()

Nah, perpustakaan pembungkus mini saya akan melakukan pekerjaan itu juga.

>>> import pyexcel as pe
>>> data = pe.load('all16.csv', name_columns_by_row=0)
>>> min(data.column[1])

Sementara itu, jika Anda mengetahui indeks kolom header satu, misalnya "Kolom 1", Anda dapat melakukan ini sebagai gantinya:

>>> min(data.column["Column 1"])

Bagi saya cara termudah untuk pergi adalah dengan menggunakan jangkauan.

import csv

with open('files/filename.csv') as I:
    reader = csv.reader(I)
    fulllist = list(reader)

# Starting with data skipping header
for item in range(1, len(fulllist)): 
    # Print each row using "item" as the index value
    print (fulllist[item])  

Karena ini terkait dengan sesuatu yang saya lakukan, saya akan share disini.

Bagaimana jika kami tidak yakin jika ada tajuk dan Anda juga tidak ingin mengimpor sniffer dan hal lainnya?

Jika tugas Anda dasar, seperti mencetak atau menambahkan ke daftar atau larik, Anda bisa menggunakan pernyataan if:

# Let's say there's 4 columns
with open('file.csv') as csvfile:
     csvreader = csv.reader(csvfile)
# read first line
     first_line = next(csvreader)
# My headers were just text. You can use any suitable conditional here
     if len(first_line) == 4:
          array.append(first_line)
# Now we'll just iterate over everything else as usual:
     for row in csvreader:
          array.append(row)

The dokumentasi untuk modul Python 3 CSV memberikan contoh ini:

with open('example.csv', newline='') as csvfile:
    dialect = csv.Sniffer().sniff(csvfile.read(1024))
    csvfile.seek(0)
    reader = csv.reader(csvfile, dialect)
    # ... process CSV file contents here ...

Ini Snifferakan mencoba mendeteksi secara otomatis banyak hal tentang file CSV. Anda perlu memanggil has_header()metodenya secara eksplisit untuk menentukan apakah file tersebut memiliki baris header. Jika ya, lewati baris pertama saat mengulang baris CSV. Anda bisa melakukannya seperti ini:

if sniffer.has_header():
    for header_row in reader:
        break
for data_row in reader:
    # do something with the row

Saya akan menggunakan tail untuk menghilangkan baris pertama yang tidak diinginkan:

tail -n +2 $INFIL | whatever_script.py 

tambahkan saja [1:]

contoh di bawah ini:

data = pd.read_csv("/Users/xyz/Desktop/xyxData/xyz.csv", sep=',', header=None)**[1:]**

yang berfungsi untuk saya di iPython

Python 3.X

Menangani UTF8 BOM + HEADER

Cukup frustasi bahwa csvmodul tidak dapat dengan mudah mendapatkan header, ada juga bug pada UTF-8 BOM (karakter pertama dalam file). Ini berfungsi untuk saya hanya dengan menggunakan csvmodul:

import csv

def read_csv(self, csv_path, delimiter):
    with open(csv_path, newline='', encoding='utf-8') as f:
        # https://bugs.python.org/issue7185
        # Remove UTF8 BOM.
        txt = f.read()[1:]

    # Remove header line.
    header = txt.splitlines()[:1]
    lines = txt.splitlines()[1:]

    # Convert to list.
    csv_rows = list(csv.reader(lines, delimiter=delimiter))

    for row in csv_rows:
        value = row[INDEX_HERE]

Saya akan mengonversi csvreader ke daftar, lalu memunculkan elemen pertama

import csv        

with open(fileName, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        data = list(csvreader)               # Convert to list
        data.pop(0)                          # Removes the first row

        for row in data:
            print(row)

Python 2.x

csvreader.next()

Kembalikan baris berikutnya dari objek yang dapat dibaca pembaca sebagai daftar, yang diuraikan menurut dialek saat ini.

csv_data = csv.reader(open('sample.csv'))
csv_data.next() # skip first row
for row in csv_data:
    print(row) # should print second row

Python 3.x

csvreader.__next__()

Kembalikan baris berikutnya dari objek iterable pembaca sebagai daftar (jika objek dikembalikan dari reader ()) atau dict (jika itu adalah instance DictReader), yang diurai sesuai dengan dialek saat ini. Biasanya Anda harus menyebutnya sebagai berikutnya (pembaca).

csv_data = csv.reader(open('sample.csv'))
csv_data.__next__() # skip first row
for row in csv_data:
    print(row) # should print second row