Acak baris DataFrame

Saya memiliki DataFrame berikut:

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame dibaca dari file csv. Semua baris yang memiliki Type1 berada di atas, diikuti oleh baris dengan Type2, diikuti oleh baris dengan Type3, dll.

Saya ingin mengocok urutan baris DataFrame, sehingga semuanya Typetercampur. Hasil yang mungkin bisa berupa:

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

Bagaimana saya bisa mencapai ini?

Cara idiomatis untuk melakukan ini dengan Pandas adalah menggunakan .samplemetode kerangka data Anda untuk mengambil sampel semua baris tanpa penggantian:

df.sample(frac=1)

The fracmenspesifikasikan argumen kata kunci fraksi baris untuk kembali dalam sampel acak, sehingga frac=1cara mengembalikan semua baris (secara acak).

Catatan: Jika Anda ingin mengocok bingkai data Anda di tempat dan mengatur ulang indeks, Anda bisa melakukan mis

df = df.sample(frac=1).reset_index(drop=True)

Di sini, menentukan drop=Truepencegahan .reset_indexdari membuat kolom yang berisi entri indeks yang lama.

Catatan tindak lanjut: Meskipun mungkin tidak tampak seperti operasi di atas di tempat , python / panda cukup pintar untuk tidak melakukan malloc lain untuk objek yang diacak. Artinya, meskipun objek referensi telah berubah (maksud saya id(df_old)tidak sama dengan id(df_new)), objek C yang mendasarinya masih sama. Untuk menunjukkan bahwa ini memang masalahnya, Anda dapat menjalankan profiler memori sederhana:

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

Anda cukup menggunakan sklearn untuk ini

from sklearn.utils import shuffle
df = shuffle(df)

Anda bisa mengocok baris-baris suatu dataframe dengan mengindeks dengan indeks yang diacak. Untuk ini, Anda bisa mis menggunakan np.random.permutation(tetapi np.random.choicejuga kemungkinan):

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

Jika Anda ingin menjaga agar indeks tetap bernomor 1, 2, .., n seperti pada contoh Anda, Anda dapat mengatur ulang indeks: df_shuffled.reset_index(drop=True)

TL; DR : np.random.shuffle(ndarray)dapat melakukan pekerjaan itu.
Jadi, dalam kasus Anda

np.random.shuffle(DataFrame.values)

DataFrame, di bawah tenda, menggunakan NumPy ndarray sebagai pemegang data. (Anda dapat memeriksa dari kode sumber DataFrame )

Jadi, jika Anda menggunakan np.random.shuffle(), itu akan mengocok array sepanjang sumbu pertama dari array multi-dimensi. Namun indeks DataFrametetap tidak tergoyahkan.

Padahal, ada beberapa hal yang perlu dipertimbangkan.

• fungsi tidak mengembalikan apa pun. Jika Anda ingin menyimpan salinan objek asli, Anda harus melakukannya sebelum berpindah ke fungsi.
• sklearn.utils.shuffle(), seperti yang disarankan pengguna, dapat menunjuk random_statebersama dengan opsi lain untuk mengontrol keluaran. Anda mungkin ingin itu untuk tujuan dev.
• sklearn.utils.shuffle()lebih cepat. Tapi AKAN SHUFFLE info sumbu (indeks, kolom) DataFramebeserta ndarrayisinya.

Hasil benchmark

antara sklearn.utils.shuffle()dan np.random.shuffle().

ndarray

nd = sklearn.utils.shuffle(nd)

0,10793248389381915 dtk. 8x lebih cepat

np.random.shuffle(nd)

0,8897626010002568 detik

DataFrame

df = sklearn.utils.shuffle(df)

0,3183923360193148 dtk. 3x lebih cepat

np.random.shuffle(df.values)

0,9357550159329548 dtk

Kesimpulan: Jika tidak apa-apa untuk info sumbu (indeks, kolom) untuk dikocok bersama dengan ndarray, gunakan sklearn.utils.shuffle(). Kalau tidak, gunakannp.random.shuffle()

kode yang digunakan

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

ular sancabenchmarking

(Saya tidak memiliki reputasi yang cukup untuk mengomentari ini pada posisi teratas, jadi saya berharap orang lain dapat melakukan itu untuk saya.) Ada kekhawatiran yang mengemukakan metode pertama:

df.sample(frac=1)

membuat salinan yang dalam atau hanya mengubah kerangka data. Saya menjalankan kode berikut:

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

dan hasil saya adalah:

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

yang berarti metode ini tidak mengembalikan objek yang sama, seperti yang disarankan dalam komentar terakhir. Jadi metode ini memang membuat salinan acak .

Apa yang juga berguna, jika Anda menggunakannya untuk Machine_learning dan ingin selalu memisahkan data yang sama, Anda bisa menggunakan:

df.sample(n=len(df), random_state=42)

ini memastikan, bahwa Anda menjaga pilihan acak Anda selalu dapat direplikasi

AFAIK solusi paling sederhana adalah:

df_shuffled = df.reindex(np.random.permutation(df.index))

mengocok bingkai data panda dengan mengambil sampel array dalam indeks kasus ini dan mengacak urutannya kemudian mengatur array sebagai indeks bingkai data. Sekarang urutkan frame data berdasarkan indeks. Ini diaframe data acak Anda

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

keluaran

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

Masukkan bingkai data Anda di tempat saya dalam kode di atas.

Ini cara lain:

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)