Hapus baris dengan indeks duplikat (Pandas DataFrame dan TimeSeries)

Saya membaca beberapa data cuaca otomatis dari web. Pengamatan terjadi setiap 5 menit dan dikompilasi ke dalam file bulanan untuk setiap stasiun cuaca. Setelah saya selesai mengurai file, DataFrame terlihat seperti ini:

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

Masalah yang saya alami adalah bahwa kadang-kadang seorang ilmuwan kembali dan mengoreksi pengamatan - bukan dengan mengedit baris yang salah, tetapi dengan menambahkan baris duplikat ke akhir file. Contoh sederhana dari kasus seperti ini diilustrasikan di bawah ini:

import pandas 
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pandas.DataFrame(data=data1, index=index)
df2 = pandas.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

Jadi saya harus df3menjadi:

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

Saya pikir bahwa menambahkan kolom nomor baris ( df3['rownum'] = range(df3.shape[0])) akan membantu saya pilih keluar paling bawah baris untuk setiap nilai DatetimeIndex, tapi saya terjebak pada mencari tahu group_byatau pivotpernyataan (atau ???) untuk membuat pekerjaan itu.

Saya akan menyarankan menggunakan metode duplikat pada Indeks Pandas itu sendiri:

df3 = df3.loc[~df3.index.duplicated(keep='first')]

Meskipun semua metode lain berfungsi, jawaban yang saat ini diterima adalah yang paling sedikit performan untuk contoh yang diberikan. Selain itu, walaupun metode groupby hanya sedikit performan, saya menemukan metode duplikat lebih mudah dibaca.

Menggunakan data sampel yang disediakan:

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

Perhatikan bahwa Anda dapat menyimpan elemen terakhir dengan mengubah argumen keep.

Juga harus dicatat bahwa metode ini juga berfungsi dengan MultiIndexbaik (menggunakan df1 seperti yang ditentukan dalam contoh Paul ):

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

Jawaban asli saya, yang sekarang sudah usang, disimpan untuk referensi.

Solusi sederhana adalah menggunakan drop_duplicates

df4 = df3.drop_duplicates(subset='rownum', keep='last')

Bagi saya, ini beroperasi dengan cepat pada set data besar.

Ini mengharuskan 'rownum' menjadi kolom dengan duplikat. Dalam contoh yang dimodifikasi, 'rownum' tidak memiliki duplikat, oleh karena itu tidak ada yang dihilangkan. Yang kami inginkan adalah agar 'cols' disetel ke indeks. Saya belum menemukan cara untuk memberi tahu drop_duplicates untuk hanya mempertimbangkan indeks.

Berikut adalah solusi yang menambahkan indeks sebagai kolom dataframe, menjatuhkan duplikat pada itu, lalu menghapus kolom baru:

df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Dan jika Anda ingin semuanya kembali dalam urutan yang tepat, panggil saja sortkerangka data.

df3 = df3.sort()

Astaga. Ini sebenarnya sangat sederhana!

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
                      A   B  rownum

2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

Sunting lanjut 2013-10-29 Dalam kasus di mana saya memiliki yang cukup kompleks MultiIndex, saya pikir saya lebih suka groupbypendekatan. Inilah contoh sederhana untuk anak cucu:

import numpy as np
import pandas

# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']

# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

dan inilah bagian yang penting

# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)  
groups.last() # or .first()
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233

Sayangnya, saya tidak berpikir Pandas memungkinkan seseorang untuk menjatuhkan dups dari indeks. Saya akan menyarankan yang berikut ini:

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

Jika ada orang seperti saya suka manipulasi data yang dapat di rantai menggunakan notasi titik panda (seperti perpipaan), maka hal berikut ini mungkin berguna:

df3 = df3.query('~index.duplicated()')

Ini memungkinkan pernyataan rantai seperti ini:

df3.assign(C=2).query('~index.duplicated()').mean()

Hapus duplikat (Keeping First)

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

Hapus duplikat (Menjaga Terakhir)

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

Pengujian: loop 10k menggunakan data OP

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds