panda menghargai beberapa kolom

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

Apa cara terbaik untuk mengembalikan nilai unik 'Col1' dan 'Col2'?

Output yang diinginkan adalah

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

pd.unique mengembalikan nilai unik dari array input, atau kolom atau indeks DataFrame.

Input untuk fungsi ini harus satu dimensi, sehingga beberapa kolom perlu digabungkan. Cara paling sederhana adalah dengan memilih kolom yang Anda inginkan dan kemudian melihat nilai-nilai dalam array NumPy rata. Seluruh operasi terlihat seperti ini:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

Perhatikan bahwa ravel()ini adalah metode array daripada mengembalikan tampilan (jika mungkin) dari array multidimensi. Argumen 'K'memberitahu metode untuk meratakan array dalam urutan elemen disimpan dalam memori (panda biasanya menyimpan array yang mendasari dalam urutan Fortran-berdekatan ; kolom sebelum baris). Ini bisa lebih cepat secara signifikan daripada menggunakan urutan 'C' default metode.

Cara alternatif adalah memilih kolom dan meneruskannya ke np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

Tidak perlu digunakan di ravel()sini karena metode ini menangani array multidimensi. Meski begitu, ini cenderung lebih lambat daripada pd.uniquekarena menggunakan algoritma berbasis semacam daripada hashtable untuk mengidentifikasi nilai-nilai unik.

Perbedaan kecepatan sangat penting untuk DataFrames yang lebih besar (terutama jika hanya ada beberapa nilai unik):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

Saya telah menyiapkan a DataFramedengan beberapa string sederhana di kolomnya:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

Anda dapat menggabungkan kolom yang Anda minati dan memanggil uniquefungsi:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

Atau:

set(df.Col1) | set(df.Col2)

Solusi yang diperbarui menggunakan numpy v1.13 + membutuhkan menentukan sumbu dalam np.unique jika menggunakan beberapa kolom, jika tidak array secara merata diratakan.

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

Perubahan ini diperkenalkan Nov 2016: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Non- pandassolusi: menggunakan set ().

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

Keluaran:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

bagi kita yang menyukai semua hal panda, berlaku, dan tentu saja fungsi lambda:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

inilah cara lain

import numpy as np
set(np.concatenate(df.values))

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

Outputnya adalah ['Mary', 'Joe', 'Steve', 'Bob', 'Bill']