Cara memfilter baris dalam panda dengan regex

Saya ingin memfilter dataframe menggunakan regex pada salah satu kolom.

Untuk contoh yang dibuat-buat:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Saya ingin memfilter baris ke yang dimulai dengan fmenggunakan regex. Go pertama:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Itu tidak terlalu berguna. Namun ini akan membuat saya indeks boolean saya:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Jadi saya bisa melakukan pembatasan dengan:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Itu membuat saya secara artifisial menempatkan grup ke dalam regex, dan sepertinya mungkin bukan cara yang bersih untuk pergi. Apakah ada cara yang lebih baik untuk melakukan ini?

Gunakan mengandung sebagai gantinya:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Sudah ada fungsi penanganan string Series.str.startswith(). Kamu harus mencobanyafoo[foo.b.str.startswith('f')] .

Hasil:

    a   b
1   2   foo
2   3   fat

Saya pikir apa yang Anda harapkan.

Atau Anda dapat menggunakan berisi dengan opsi regex. Sebagai contoh:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Hasil:

    a   b
1   2   foo

na=False adalah untuk mencegah Kesalahan jika ada nilai nan, null dll

Pencarian beberapa kolom dengan bingkai data:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Ini mungkin agak terlambat, tetapi ini sekarang lebih mudah dilakukan di Panda. Anda dapat memanggil pertandingan dengan as_indexer=Trueuntuk mendapatkan hasil boolean. Ini didokumentasikan (bersama dengan perbedaan antara matchdan contains) di sini .

Terima kasih atas jawaban yang bagus @ user3136169, berikut adalah contoh bagaimana hal itu dapat dilakukan juga dengan menghapus nilai NoneType.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Anda juga dapat menambahkan regex sebagai argumen:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Tulis fungsi Boolean yang memeriksa regex dan gunakan terapkan pada kolom

foo[foo['b'].apply(regex_function)]

Menggunakan str irisan

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat